Deep Learning based 3D Multi-person Human pose estimation from Monocular Vision
Estimation de la pose humaine 3D multi-personnes basée sur le Deep Learning à partir de la vision monoculaire
Résumé
This thesis focuses on human pose estimation in 3D using deep learning. The first part consists of a review of recent methods for estimating human pose from monocular images and videos, emphasizing deep learning-based approaches. Approximately 200 articles are analyzed, summarized, and classified based on various criteria. The need for accurate 3D poses in real-world applications, particularly in surveillance systems, is highlighted, with a focus on challenges related to preserving distance and capturing interactions between individuals.The second part of the thesis introduces a new framework called Root-GAST-Net, designed to estimate absolute 3D poses from a single RGB camera. The system combines a human detector, a 2D pose estimator, a 3D relative pose reconstructor, and a root depth estimator. Root-GAST-Net is evaluated on reference datasets and outperforms existing methods in terms of performance, in addition to operating in real-time.The third part of the thesis explains how this framework is implemented in a real-world system at Pryntec Company. It details software delivery and development, demonstrating the industrial relevance of this research.This thesis contributes to the advancement of 3D human pose estimation by analyzing current methods, proposing a real-time, high-performance framework, and showcasing its practical application. The results pave the way for future research in this field.
Cette thèse se concentre sur l'estimation de la posture humaine en 3D à l'aide de l'apprentissage profond. La première partie consiste en une revue de méthodes récentes d'estimation de la posture humaine en utilisant des images et vidéos monoculaires, mettant en avant les approches basées sur l'apprentissage profond. Environ 200 articles sont analysés, résumés et classifiés en fonction de différents critères. Les besoins de poses 3D précises dans des applications telles que la surveillance sont soulignés, avec un accent sur les défis liés à la préservation de la distance et à la capture des interactions entre les individus.La deuxième partie de la thèse présente un nouveau cadre appelé Root-GAST-Net, conçu pour estimer les poses absolues en 3D à partir d'une seule caméra RGB. Le système combine un détecteur humain, un estimateur de pose 2D, un reconstructeur de pose relative en 3D, et un estimateur de profondeur de la racine. Root-GAST-Net est évalué sur des ensembles de données de référence et dépasse les méthodes existantes en termes de performances, en plus de fonctionner en temps réel.La troisième partie de la thèse décrit comment ce cadre est mis en œuvre dans un système réel au sein de la société Pryntec. Elle explique la livraison du logiciel et les détails de développement, démontrant ainsi la pertinence industrielle de cette recherche.Cette thèse contribue à l'avancement de l'estimation de la posture humaine en 3D en analysant les méthodes actuelles, en proposant un nouveau cadre performant en temps réel, et en montrant son application pratique. Les résultats ouvrent la voie à de futures recherches dans ce domaine.
| Origine | Version validée par le jury (STAR) |
|---|