Adaptive deep ensemble methods for face analysis in the wild - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Adaptive deep ensemble methods for face analysis in the wild

Méthodes d’ensemble et apprentissage profond pour l’analyse faciale en environnement non contraint

Résumé

Despite the recent advances in face analysis, it is still difficult to adapt the models to the immense variety of morphological traits, head poses or occlusions that can strongly affect the face appearance. Thus, the objective of this thesis is to improve the robustness to these variations. To this end, we propose to combine deep learning methods with ensemble methods. In particular, we have proposed a new gating mechanism that allows to adaptively combine the decisions of an ensemble of predictors. This first architecture has been extended to allow the combination of an ensemble of representations. We also showed that it was possible to better guide this combination by using an exogenous variable, identified as an important source of variation in the face appearance. In addition to these architectural contributions, we have shown the contribution of a new training loss that improves the representation extracted by the network. The genericity and performance of the method have been experimentally validated. In particular, this method outperforms the state-of-the-art in both face alignment and facial expression recognition.
Malgré les progrès effectués ces dernières années en analyse faciale, il est encore difficile d’adapter les modèles à l’immense variété de traits morphologiques, de poses de la tête ou d’occultation qui peuvent affecter fortement l’apparence du visage. Ainsi, l’objectif de cette thèse est d’améliorer la robustesse à ces variations. A cette fin, nous proposons de combiner méthodes d’apprentissage profond et méthodes d’ensemble. Nous avons notamment proposé un nouveau mécanisme de portes qui permet de combiner dynamiquement les décisions d’un ensemble de prédicteurs. Cette première architecture a été étendue pour permettre de combiner un ensemble de représentations. Nous avons également montré qu’il était possible de mieux guider cette combinaison à l’aide d’une variable exogène, identifiée comme source importante de variations dans l’apparence du visage. Outre ces apports architecturaux, nous avons montré l’apport d’une nouvelle fonction de coût qui permet d’améliorer la représentation extraite par le réseau. La généricité et les performances de la méthode ont été validées expérimentalement. En particulier, cette méthode surpasse l’état de l’art sur les tâches de localisation de points caractéristiques du visage et de reconnaissance d’expression faciales.
Fichier principal
Vignette du fichier
ARNAUD_Estephe_these_2021.pdf (15.77 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03681693 , version 1 (30-05-2022)

Identifiants

  • HAL Id : tel-03681693 , version 1

Citer

Estèphe Arnaud. Adaptive deep ensemble methods for face analysis in the wild. Other [cs.OH]. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS065⟩. ⟨tel-03681693⟩
76 Consultations
22 Téléchargements

Partager

Gmail Facebook X LinkedIn More