Fast and Accurate 4D Modeling of Large Multi-Camera Sequences - TEL - Thèses en ligne
Thèse Année : 2019

Fast and Accurate 4D Modeling of Large Multi-Camera Sequences

Modélisation 4D Rapide et Précise de Séquences Multi-Cameras

Vincent Leroy

Résumé

Recent advances in acquisition and processing technologies lead to the fast growth of a major branch in media production: volumetric video. In particular, the rise of virtual and augmented reality fuels an increased need for content suitable to these new media including 3D contents obtained from real scenes, as the ability to record a live performance and replay it from any given point of view allows the user to experience a realistic and immersive environment. This manuscript aims at presenting the problem of 4D shape reconstruction from multi-view RGB images, which is one way to create such content. We especially target real life performance capture, containing complex surface details. Typical challenges for these capture situations include smaller visual projection areas of objects of interest due to wider necessary fields of view for capturing motion; occlusion and self-occlusion of several subjects interacting together; lack of texture content typical of real-life subject appearance and clothing; or motion blur with fast moving subjects such as sport action scenes. An essential and still improvable aspect in this matter is the fidelity and quality of the recovered shapes, our goal in this work. We present a full reconstruction pipeline suited for this scenario, to which we contributed in many aspects. First, Multi-view stereo (MVS) based methods have attained a good level of quality with pipelines that typically comprise feature extraction, matching stages and 3D shape inference. Interestingly, very recent works have re-examined stereo and MVS by introducing features and similarity functions automatically inferred using deep learning, the main promise of this type of method being to include better data-driven priors. We examine in a first contribution whether these improvements transfer to the more general and complex case of live performance capture, where a diverse set of additional difficulties arise. We then explain how to use this learning strategy to robustly build a shape representation, from which can be extracted a 3D model. Once we obtain this representation at every frame of the captured sequence, we discuss how to exploit temporal redundancy for precision refinement by propagating shape details through adjacent frames. In addition to being beneficial to many dynamic multi-view scenarios this also enables larger scenes where such increased precision can compensate for the reduced spatial resolution per image frame. The source code implementing the different reconstruction methods is released to the community at http://deep4dcvtr.gforge.inria.fr/.
Les récentes avancées technologiques dans le domaine de l’acquisition et du calcul ont permis une croissance rapide d’une branche de production de média: la capture volumétrique. En particulier, la montée en puissance de la réalité virtuelle et augmentée engendre un besoin accru de contenus adaptés à ces nouveaux médias, notamment des contenus 3D obtenus à partir de scènes réelles. En effet, la possibilité d’enregistrer une performance et de la rejouer sous n’importe quel point de vue permet de créer une expérience dans un environnement réaliste et immersif pour l’utilisateur. Ce manuscrit présente le problème de la reconstruction de forme 4D à partir d’images RVB multi-vues, qui est une des stratégies permettant de créer un tel contenu. Nous nous intéressons particulièrement la capture de performances dynamiques en situations réelles, contenant des détails de surface complexes. Les défis typiques de ces situations de capture incluent une plus faible densité d’observation des objets d’intérêt en raison des champs de vision plus larges nécessaires pour capturer le mouvement; des occultations et auto-occultations de plusieurs sujets en interaction; un manque de texture typique de l’apparence et des vêtements du sujet réel; ou du flou de bougé avec des sujets en mouvement rapide tels que des scènes d’action sportive. Un aspect essentiel et qui peut encore être amélioré à cet égard est la fidélité et la qualité des formes récupérées, notre objectif dans ce travail. Nous présentons un pipeline complet de reconstruction adapté à ce scénario, auquel nous avons contribué de nombreuses manières. En premier lieu, on peut noter que les méthodes basées sur la technologie stéréo multi-vues (MVS) ont atteint un bon niveau de qualité avec des pipelines qui comprennent généralement l’extraction de descripteurs caractéristiques, une étape de mise en correspondance et l’inférence de forme 3D. Mais il est surtout intéressant de noter que des travaux très récents ont réexaminé le problème de stéréo et stéréo multi-vues en introduisant des fonctions de similarité automatiquement inférées à l’aide d’apprentissage profond. La principale promesse de ce type de méthode étant d’inclure un meilleur a-priori, appris sur les données réelles. Dans une première contribution, nous examinons dans quelle mesure ces améliorations sont transférées au cas plus général et complexe de la capture de performances dynamiques, où diverses difficultés supplémentaires se présentent. Nous expliquons ensuite comment utiliser cette stratégie d’apprentissage pour construire de manière robuste une représentation de forme à chaque instant, à partir desquelles une séquence de modèles 3D peut être extraite. Une fois que nous obtenons cette représentation à chaque instant de la séquence capturée, nous expliquons comment il est possible d’exploiter la redondance temporelle pour affiner la précision des modèles en propageant les détails des formes observées aux instants précédents et suivants. En plus d’être bénéfique pour de nombreux scénarios dynamiques à vues multiples, cela permet également de capturer des scènes plus grandes où une précision accrue peut compenser la résolution spatiale réduite. Le code source des différentes méthodes de reconstruction est rendu public à la communauté.
Fichier principal
Vignette du fichier
69977_LEROY_2019_archivage.pdf (26.97 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-02435385 , version 1 (10-01-2020)
tel-02435385 , version 2 (18-03-2020)

Identifiants

  • HAL Id : tel-02435385 , version 1

Citer

Vincent Leroy. Fast and Accurate 4D Modeling of Large Multi-Camera Sequences. Computer Science [cs]. Université Grenoble Alpes (2016-2019); INRIA Grenoble, 2019. English. ⟨NNT : ⟩. ⟨tel-02435385v1⟩
322 Consultations
167 Téléchargements

Partager

More