Spatio-temporal prediction of surfaces from imaging using stochastic processes
Prédiction spatio-temporelle de surfaces issues de l'imagerie en utilisant des processus stochastiques
Résumé
The prediction of a surface is now an important problem due to its use in multiple domains, such as computer vision, the simulation of avatars for cinematography or video games, etc. Since a surface can be static or dynamic, i.e. evolving with time, this problem can be separated in two classes: a spatial prediction problem and a spatio-temporal one. In order to propose a new approach for each of these problems, this thesis works have been separated in two parts.First of all, we have searched to predict a static surface, which is supposed cylindrical, knowing it partially from curves. The proposed approach consisted in deforming a cylinder on the known curves in order to reconstruct the surface of interest. First, a correspondence between known curves and the cylinder is generated with the help of shape analysis tools. Once this step done, an interpolation of the deformation field, which is supposed Gaussian, have been estimated using maximum likelihood and Bayesian inference. This methodology has then been applied to real data from two domains of imaging: medical imaging and infography. The obtained results show that the proposed approach exceeds the existing methods in the literature, with better results using Bayesian inference.In a second hand, we have been interested in the spatio-temporal prediction of dynamic surfaces. The objective was to predict a dynamic surface based on its initial surface. Since the prediction needs to learn on known observations, we first have developed a spatio-temporal surface analysis tool. This analysis is based on shape analysis tools, and allows a better learning. Once this preliminary step done, we have estimated the temporal deformation of the dynamic surface of interest. More precisely, an adaptation, with is usable on the space of surfaces, of usual statistical estimators has been used. Using this estimated deformation on the initial surface, an estimation of the dynamic surface has been created. This process has then been applied for predicting 4D expressions of faces, which allow us to generate visually convincing expressions.
La prédiction de surface est désormais une problématique importante dans de multiples domaines, tels que la vision par ordinateur, la simulation d'avatars en cinématographie ou dans les jeux vidéo, etc. Une surface pouvant être statique ou dynamique, c'est-à-dire évoluant dans le temps, le problème peut être séparé en deux catégories : un problème de prédiction spatial et un problème de prédiction spatio-temporel. Afin de proposer une nouvelle approche à chacune de ces problématiques, ce travail de thèse a été séparé en deux parties.Nous avons d'abord cherché à prédire une surface statique, qui est supposée cylindrique, en la connaissant partiellement sous la forme de courbes. L'approche que nous avons proposée consiste à déformer un cylindre sur les courbes connues afin de reconstruire la surface d'intérêt. Tout d'abord, une correspondance entre les courbes connues et le cylindre est générée à l'aide d'outils d'analyse de forme. Une fois cette étape effectuée, une interpolation du champ de déformation, qui a été supposé gaussien, a été estimée en se basant sur le maximum de vraisemblance d'une part, et par inférence bayésienne d'autre part. La méthodologie a par la suite été appliquée à des données réelles provenant de deux domaines de l'imagerie : l'imagerie médicale et l'infographie. Les divers résultats obtenus montrent que la méthode proposée surpasse les méthodes existantes dans la littérature, avec de meilleurs résultats en utilisant l'inférence bayésienne.Dans un second temps, nous nous sommes intéressés à la prédiction spatio-temporelle de surfaces dynamiques. L'objectif était de prédire entièrement une surface dynamique à partir de sa surface initiale. La prédiction nécessitant une phase d'apprentissage à partir d'observations connues, nous avons tout d'abord développé un outil d'analyse spatio-temporel de surfaces. Cette analyse se base sur des outils d'analyse de forme, et permet un meilleur apprentissage pour la prédiction. Une fois cette étape préliminaire effectuée, nous avons estimé la déformation temporelle de la surface dynamique à prédire. Plus précisément, une adaptation, applicable sur l'espace des surfaces, des estimateurs couramment utilisés en statistique a été utilisée. En appliquant la déformation estimée sur la surface initiale, une estimation de la surface dynamique a ainsi été créée. Cette méthodologie a par la suite été utilisée pour prédire des expressions 4D du visage, ce qui permet de générer des expressions visuellement convaincantes.
Mots clés
Computer vision
Machine learning
Bayesian inference
Stochastic process
Gaussian random field
Elastic curves registration
Multimodal image registration
Spatio-temporal registration
Dynamic surface analysis
Surface reconstruction
4D Facial expression prediction
Vision par ordinateur
Machine learning
Inférence Bayésienne
Processus stochastique
Champ aléatoire Gaussien
Recalage de courbes élastiques
Recalage d’images multimodales
Recalage spatio-temporel de surfaces
Reconstruction de surfaces
Analyse de surfaces dynamiques
Prédiction d’expression du visage 4D
Domaines
Traitement des images [eess.IV]| Origine | Version validée par le jury (STAR) |
|---|