Statistical modeling of face morphology for dermatology and plastic surgery
Modélisation statistique de la morphologie du visage pour la dermatologie et la chirurgie plastique
Résumé
Three-dimensional (3d) scans are essential in evaluating and following dermatological and cosmetic treatments. Unfortunately, the scanned body parts may be altered by artifacts from the reconstruction or unsought motions from the patients. For instance, facial expressions makes the 3d face scans improper for measurements. Hence, it is essential to develop methods to standardize the 3d scans to improve the measurement accuracy. Besides, evaluating treatments and labeling 3d scans is time-consuming, prone to errors, and undergoes rater's variability. For example, studies requiring the evaluation of skin aging or tissue sagging are easily distorted by inconsistencies between evaluators. Thus, it would be a significant leap for physicians to have data-driven algorithms that automatically evaluate the treatments. In this thesis, we develop statistical modeling methods for the face to address these problems.The first step is to register the 3d scans, which have different mesh connectivity and a different number of vertices. The Gaussian Process Morphable Models (GPMMs) framework can register 3d face scans with neutral expressions but struggle when facial expressions change. Hence, we propose a new kernel for GPMMs based on geodesic distances that allow more flexible and realistic deformations. Our new kernel allows for fitting the template mesh toward faces with different facial expressions. Also, our registration formulation uses weighted least squares to select areas such as hair that will not be registered. Furthermore, the recent advances in estimating geodesic distances make the extra computation time cost negligible in most applications.Then, we built a statistical shape model to quantify the skin sagging on the face. We use Partial Least Square Regression (PLSR) to find a linear relationship between the skin sagging score and geometric features on the face surface. The interpretability potential of linear models such as PLSR makes these methods ideal candidates for shape analysis on small data sets where generalization is essential. Furthermore, we propose visualization techniques to interpret the parameters of the PLSR model. Our jawline sagging model and the rater agree on 73% of the time, which is in the same range as the raters' variability. The visualization of the PLSR latent variables shows that the model has captured jawline sagging deformations that are coherent with the jawline sagging illustrated on the scales used by the physicians.Finally, we propose to use a morphable face model to neutralize facial expressions from 3d face scans. Unfortunately, in existing models, there is an entanglement between the deformations related to identity changes and those from facial expressions. Consequently, modifying a facial expression also modifies the person's identity, limiting such models' usefulness. We added an orthogonality penalization into the training procedure to address this issue, leading to a quasi-orthogonality between the expression and identity sub-spaces. The quasi orthogonality allows for a better disentanglement of facial expression deformations from face morphology. Averaging on all expressions, the neutralization with quasi-orthogonality produces face meshes that are 20% closer to the ground truth meshes. The effect of quasi-orthogonality is more visible on large amplitude facial expressions, such as opening the mouth. Our visualizations show very convincing facial expression neutralizations.
Les acquisitions de surfaces tridimensionnelles (3d) jouent un rôle important dans l'évaluation et le suivi des traitements dermatologiques et cosmétiques. Ces surfaces 3d permettent par exemple de quantifier, en volumes, l'effet d'injections d'acide hyaluronique sur les patients, ou encore de mesurer les surfaces de lésions cutanées. Malheureusement, les parties du corps acquises peuvent être altérées par des mouvements non désirés des patients. Par exemple, les expressions faciales causent des erreurs de volumes importantes. Par ailleurs, l'évaluation des traitements et les annotations cliniques des données 3d prennent du temps, et subissent la variabilité entre les évaluateurs. Par exemple, les études nécessitant l'évaluation du vieillissement de la peau ou du relâchement des tissus sont facilement biaisées par les désaccords entre les évaluateurs. Dans cette thèse nous proposons des méthodes de modélisation statistique pour aborder ces problèmes. Nous abordons tout d'abord le problème de recalage entre les surfaces 3d acquises, qui ont une connectivité de maillage et un nombre de sommets différents. Le cadre des modèles déformables par processus Gaussiens (GPMMs) permet de recaler des acquisitions 3d de visages avec des expressions neutres mais rencontre des difficultés lorsque l'expression faciale change. Nous proposons donc un nouveau noyau pour les GPMMs, basé sur les distances géodésiques mesurées le long de la surface du maillage, qui permet des déformations plus flexibles et plus réalistes. Notre formulation du recalage fait également usage des moindres carrés pondérés pour sélectionner des parties du visage qui ne seront pas recalées comme les cheveux. Les progrès récents dans l'estimation des distances géodésiques rendent le surcoût en temps de calcul presque négligeable dans la plupart des applications.Ensuite, nous construisons un modèle statistique de forme pour quantifier et simuler le relâchement de la peau du visage. Nous avons utilisé la régression des moindres carrés partiels (PLSR) pour trouver une relation linéaire entre ce score de relâchement et des caractéristiques géométriques sur la surface du visage. Le potentiel d'interprétabilité de ces modèles est important pour l'analyse de forme sur de petits ensembles de données où la généralisation est difficile à mesurer. Nous proposons en particulier des techniques de visualisation pour interpréter les paramètres du modèle PLSR. Notre modèle prédit un score de relâchement en accord avec les annotations cliniques dans 73% des cas, soit le même ordre de grandeur que la variabilité intra- et inter-évaluateur. La visualisation des variables latentes de notre modèle PLSR montre une déformation cohérente avec les échelles de notation ce qui achève de démontrer la pertinence du modèle.Enfin, nous proposons d'utiliser un modèle de déformations pour neutraliser les expressions faciales des scans 3d. Malheureusement, dans les modèles existants, les déformations d'expression faciales et d'identité ne sont pas indépendantes ce qui limite leur utilisabilité. En pratique, modifier l'expression faciale a pour effet de modifier aussi l'identité de la personne. Pour résoudre ce problème, nous avons ajouté une pénalité dans l'apprentissage pour maximiser l'orthogonalité des sous-espaces d'expression et d'identité. De cette façon, nous obtenons une quasi-orthogonalité, qui améliore significativement la neutralisation des expressions faciales. En moyenne sur toutes les expressions la neutralisation avec quasi-orthogonalité produit des maillages 20% plus proche de la vérité terrain par rapport à la neutralisation sans orthogonalité. L'effet de la quasi-orthogonalité est encore plus visible sur les expressions de grande amplitude, comme l'expression bouche ouverte. Nos visualisations montrent des neutralisations très convaincante pour chaque expression.
Origine | Version validée par le jury (STAR) |
---|