Data-Efficient Deep Functional Maps for 3D Shape and Graph Analysis

Abhishek Sharma

Résumé

Shape correspondence is a fundamental problem in computer vision, computer graphics, and related fields since it facilitates many applications such as texture or deformation transfer and statistical shape analysis to name a few. Although shape correspondence has been studied from many viewpoints, in this thesis, we focus on functional map-based approaches as this framework is quite general, scalable and thus, has been extended to various other applications such as pose estimation, matrix completion, and graph matching. In this thesis, we propose three contributions to deep functional maps: First, we propose a simple but effective method to estimate a high-dimensional functional map. Our method is based on first learning a low dimensional functional map and then refining it to a higher dimensional one based on iterative spectral upsampling. Second, we propose a new direction that advocates the use of approximate rigid alignment of shapes as a weak supervision signal. Our weakly supervised Deep Functional map obtains competitive performance compared to the fully supervised approach. Our main hypothesis is that the approximate rigid alignment provides the network with enough information to disambiguate symmetry issues. Although approximate alignment is easier to obtain than pointwise ground truth between a pair of shapes, it still suffers from scalability issues on large-scale 3D shape collections. Thus, we go beyond this prerequisite and consider the problem of learning simultaneously a self symmetry map and a pairwise map. Our third contribution is a novel commutative regularization that couples the self-symmetry map with a pairwise map and thus enable knowledge transfer between the two maps during training. Our last contribution is an application of the functional map framework to some graph-based machine learning problems such as geometric matrix completion and dimensionality reduction. We propose a simplified framework that is based on a key idea that using a reduced basis to represent functions on the product space is sufficient to recover a low-rank matrix approximation even from a sparse signal.

La correspondance de forme est un problème fondamental en vision par ordinateur, en infographie et dans les domaines connexes, car elle facilite de nombreuses applications telles que le transfert de texture ou de déformation et l'analyse statistique de forme, pour n'en nommer que quelques-unes. Bien que la correspondance de forme ait été étudiée sous de nombreux points de vue, dans cette thèse, nous nous concentrons sur les approches fonctionnelles basées sur des cartes, car ce cadre est assez général, évolutif et a donc été étendu à diverses autres applications telles que l'estimation de pose, la complétion de matrices et le graphe. correspondant à. Dans cette thèse, nous proposons trois contributions aux cartes fonctionnelles profondes : Premièrement, nous proposons une méthode simple mais efficace pour estimer une carte fonctionnelle de grande dimension. Notre méthode est basée sur l'apprentissage d'une carte fonctionnelle de faible dimension, puis sur son raffinement en une carte de dimension supérieure basée sur un suréchantillonnage spectral itératif. Deuxièmement, nous proposons une nouvelle direction qui préconise l'utilisation d'un alignement rigide approximatif des formes comme signal de supervision faible. Notre carte Deep Functional faiblement supervisée obtient des performances compétitives par rapport à l'approche entièrement supervisée. Notre hypothèse principale est que l'alignement rigide approximatif fournit au réseau suffisamment d'informations pour lever l'ambiguïté des problèmes de symétrie. Bien que l'alignement approximatif soit plus facile à obtenir que la vérité terrain ponctuelle entre une paire de formes, il souffre toujours de problèmes d'évolutivité sur les collections de formes 3D à grande échelle. Ainsi, nous allons au-delà de ce prérequis et considérons le problème de l'apprentissage simultané d'une auto-symétrie et d'une application par paires. Notre troisième contribution est une nouvelle régularisation commutative qui couple la carte d'autosymétrie avec une carte par paires et permet ainsi le transfert de connaissances entre les deux cartes pendant l'apprentissage. Notre dernière contribution est une application du cadre de la carte fonctionnelle à certains problèmes d'apprentissage automatique basés sur des graphes tels que la complétion de matrices géométriques et la réduction de dimensionnalité. Nous proposons un cadre simplifié basé sur une idée clé selon laquelle l'utilisation d'une base réduite pour représenter des fonctions sur l'espace produit est suffisante pour récupérer une approximation matricielle de rang bas même à partir d'un signal clairsemé.