Data driven representation and synthesis of 3D human motion
Modèles statistiques pour représenter et synthétiser des mouvement humains en 3D
Résumé
In this manuscript, we propose data-driven methods to generate realistic 3D human motion. Although data-driven approaches are difficult to implement without sufficient data, the rapid increase in 3D human data makes them increasingly attractive. While generative modelling of dense human bodies has been widely studied over the past decades, it has become apparent that representing motion as a sequence of static poses has limitations when processing inputs with missing images, occlusions or low spatial resolution. Regarding motion, existing work has mainly focused on sparse representations of the human body, such as a set of sparse surface markers or a skeleton. We investigate the representation and synthesis of spatially dense human motion. We specifically target bodies wearing tight clothing and focus on modelling dense human motion as the temporal evolution of a sparse body pose and its interaction with a dense body morphology. To do so, we exploit the power of neural representations, which have allowed for impressive progress in 2D image processing and have shown promising first results on 3D data.Modelling motion from data poses many challenges. Firstly, spatio-temporal motion data is high dimensional. Second, human motion and morphological variability are interdependent. And third, the formalism of what makes a motion realistic is not well known, which complicates the translation of this problem into optimization objectives.To address these issues, we propose three contributions. The first two investigate the use of low-dimensional latent spaces to represent and synthesize human motion. Specifically, in our first contribution, we propose to encode a temporal segment of motion into a single latent vector while applying a Gaussian assumption on the distribution of the data in the latent space. This generic latent representation allows the generation of new motions and also allows the completion and denoising of sparse data.In the second contribution, we extend the first work to longer motions representing them as a sequence of latent vectors, where each vector characterizes a temporal segment of the movement. This approach greatly improves the accuracy of the model and the results on the completion task.In a third and final contribution, we study motion transfer, where the goal is to automatically transfer the motion of a source character to a target character. In this approach, we propose an alternative to the existing approaches which directly operate on the dense surface by operating both on the dense surface and an intermediate skeletal representation.The source code implementing the different reconstruction methods is released as open source software for research purposes.
Dans cette thèse, nous proposons des méthodes basées sur les données pour générer des mouvements humains 3D réalistes. Bien que les approches orientées données soient difficiles à mettre en œuvre sans données suffisantes, l'augmentation rapide du nombre de bases de données humaines en 3D les rend de plus en plus attrayantes. Alors que la modélisation générative de corps humains denses a été largement étudiée au cours des dernières décennies, il est devenu évident que représenter le mouvement comme une séquence de poses statiques présente des limites lors du traitement d'entrées avec des images manquantes, des occlusions ou une faible résolution spatiale. En ce qui concerne le mouvement, les travaux existants se sont principalement concentrés sur des représentations éparses du corps humain, telles qu'un ensemble de marqueurs de surface épars ou un squelette. Nous étudions la représentation et la synthèse du mouvement humain spatialement dense. Nous ciblons spécifiquement les corps portant des vêtements serrés et nous nous concentrons sur la modélisation du mouvement humain dense comme l'évolution temporelle d'une pose corporelle éparse et son interaction avec une morphologie corporelle dense. Pour ce faire, nous exploitons la puissance des réseaux neuronaux, qui ont permis des progrès impressionnants dans le traitement des images 2D et ont montré des premiers résultats prometteurs sur les données 3D.La modélisation du mouvement à partir de données pose de nombreux défis. Tout d'abord, les données spatio-temporelles de mouvement sont de haute dimension. Deuxièmement, le mouvement humain et la variabilité morphologique sont interdépendants. Et troisièmement, le formalisme de ce qui rend un mouvement réaliste n'est pas bien connu, ce qui complique la traduction de ce problème en objectifs d'optimisation.Pour aborder ces questions, nous proposons trois contributions. Les deux premières étudient l'utilisation d'espaces latents de faible dimension pour représenter et synthétiser le mouvement humain. Plus précisément, dans notre première contribution, nous proposons d'encoder un segment temporel de mouvement dans un vecteur latent unique tout en appliquant une hypothèse gaussienne sur la distribution des données dans l'espace latent. Cette représentation latente générique permet la génération de nouveaux mouvements et permet également de compléter et de débruiter des données éparses.Dans la deuxième contribution, nous étendons le premier travail à des mouvements plus longs en les représentant comme une séquence de vecteurs latents, où chaque vecteur caractérise un segment temporel du mouvement. Cette approche améliore considérablement la précision du modèle et les résultats sur la tâche d'achèvement.Dans une troisième et dernière contribution, nous étudions le transfert de mouvement, où l'objectif est de transférer automatiquement le mouvement d'un personnage source vers un personnage cible. Dans cette approche, nous proposons une alternative aux approches existantes qui opèrent directement sur la surface dense en opérant à la fois sur la surface dense et sur une représentation squelettique intermédiaire.Le code source implémentant les différentes méthodes de reconstruction est publié en tant que logiciel open source à des fins de recherche.
| Origine | Version validée par le jury (STAR) |
|---|