Deep learning for skeletal character animation : topology editing, retargeting and cleaning
Apprentissage profond pour l'animation du squelette de personnages virtuels : édition de la topologie, squeletto-morphose et nettoyage
Résumé
Deep learning has revolutionised skeletal character animation in the last decade. Novel frameworks and sophisticated schemes pushed toward to an unprecedented realism. Though, these advances still lack quality, flexibility and ability to generalise to replace animators when dealing with tedious low-creativity tasks. Therefore, the purpose of this thesis is to tackle current obstacles preventing from doing so. In particular, we strived to alleviate the lack of high-quality motion data in the context of deep learning and the inclination of neural networks to introduce artefacts when processing motion data. To this end, we first investigated the enhancement of 2D human pose sequences estimated from video using prior knowledge captured in a deep generative model. Then, we abstracted out motion features from skeleton topology and morphology in a deep motion representation, with the goal of gathering, processing or retargeting motion sequences with variable skeleton topologies and morphologies. Finally, we tackled foot contact detection to automatically clean up footskate artefacts, well-known in character animation.
L'apprentissage profond a révolutionné l'animation de personnages durant la dernière décennie. Des modèles novateurs et sophistiqués ont permis d'obtenir un réalisme sans précédent. Cependant, ces avancées ne permettent pas encore de remplacer les animateurs sur toutes les tâches fastidieuses et peu créatives. L'objectif de cette thèse est de s'attaquer aux obstacles qui les en empêchent. En particulier, nous avons abordé le manque de données de mouvement de qualité et la tendance des réseaux de neurones à introduire des artéfacts lors du traitement de données de mouvement. Nous avons d'abord exploré l'amélioration de séquences de poses humaines 2D estimées à partir de vidéos en utilisant des connaissances a priori apprises par un modèle génératif profond. Ensuite, nous avons abstrait le mouvement de la topologie et de la morphologie dans une représentation profonde, afin de rassembler, de traiter ou de squeletto-morphoser des séquences de mouvement avec des topologies et des morphologies variables. Enfin, nous nous sommes attaqués à la détection des contacts des pieds avec le sol dans le but de nettoyer automatiquement les artéfacts de glissement des pieds.
| Origine | Version validée par le jury (STAR) |
|---|