Structures for deep learning and topology optimization of functions on 3D shapes
Structures pour l'apprentissage profond et l'optimisation de la topologie de fonctions sur les formes 3D
Résumé
The field of geometry processing is following a similar path as image analysis with the explosion of publications dedicated to deep learning in recent years. An important research effort is being made to reproduce the successes of deep learning 2D computer vision in the context of 3D shape analysis. Unlike images shapes comes in various representations like meshes or point clouds which often lack canonical structure. This makes traditional deep learning algorithms like Convolutional Neural Networks (CNN) non straightforward to apply to 3D data. In this thesis we propose three main contributions:First, we introduce a method to compare functions on different domains without correspondences and to deform them to make the topology of their set of levels more alike. We apply our method to the classical problem of shape matching in the context of functional maps to produce smoother and more accurate correspondences. Furthermore, our method is based on the continuous optimization of a differentiable energy with respect to the compared functions and is applicable to deep learning. We make two direct contributions to deep learning on 3D data. We introduce a new convolution operator over triangles meshes based on local polar coordinates and apply it to deep learning on meshes. Unlike previous works our operator takes all choices of polar coordinates into account without loss of directional information. Lastly we introduce a new rotation invariant convolution layer over point clouds and show that CNNs based on this layer can outperform state of the art methods in standard tasks on un-alligned datasets even with data augmentation.
Le domaine du traitement de la géométrie suit un cheminement similaire à celui de l'analyse d'images avec l'explosion des publications consacrées à l'apprentissage profond ces dernières années. Un important effort de recherche est en cours pour reproduire les succès de l'apprentissage profond dans le domaine de la vision par ordinateur dans le contexte de l'analyse de formes 3D. Contrairement aux images, les formes 3D peuvent peuvent être représentées de différentes manières comme des maillages ou des nuages de points souvent dépourvus d'une structure canonique. Les algorithmes d'apprentissage profond traditionnels tels que les réseaux neuronaux convolutifs (CNN) ne sont donc pas faciles à appliquer aux formes 3D. Dans cette thèse, nous proposons trois contributions principales : premièrement, nous introduisons une méthode permettant de comparer des fonctions sur des domaines différents sans correspondances et de les déformer afin de rendre la topologie de leur ensemble de niveaux similaires. Nous appliquons notre méthode au problème classique de la correspondance de formes dans le contexte des applications fonctionnelles (functional maps) afin de produire des correspondances plus lisses et plus précises. Par ailleurs notre méthode reposant sur l'optimisation continue d'une énergie différentiable par rapport aux fonctions comparées elle est applicable à l'apprentissage profond. Nous apportons deux contributions directes à l'apprentissage profond des données 3D. Nous introduisons un nouvel opérateur de convolution sur des maillages triangulaires basés sur des coordonnées polaires locales et l'appliquons à l'apprentissage profond sur les maillages. Contrairement aux travaux précédents, notre opérateur prend en compte tous les choix de coordonnées polaires sans perte d'information directionnelle. Enfin, nous introduisons un nouveau module de convolution invariant par rotation sur les nuages de points et montrons que les CNN basés sur ce dernier peuvent surpasser l'état de l'art pour des tâches standard sur des ensembles de données non alignés même avec augmentation des données.
| Origine | Version validée par le jury (STAR) |
|---|