Enhanced facial behavior recognition and rehabilitation using 3D biomechanical features and deep learning approaches - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Enhanced facial behavior recognition and rehabilitation using 3D biomechanical features and deep learning approaches

Reconnaissance des comportements et rééducation fonctionnelle du visage à partir des descripteurs biomécaniques 3D et l'apprentissage profond

Duc-Phong Nguyen
  • Fonction : Auteur
  • PersonId : 1174256
  • IdRef : 264814169

Résumé

Facial palsy patients or patients under facial transplantation have facial dysfunctionalities and abnormal facial motion. This is due to the altered facial nerve and facial muscle systems. Current traditional facial rehabilitation is based mainly on a mirror approach to monitor the visual qualitative feedback from the rehabilitation exercise. Computer-aided systems based on physics-based models have also been developed to provide objective and quantitative information. However, the use of these systems in clinical routine practice still remains challenging due to several limitations: 1) the lack of building 3D information from images or the dependency on the selected cameras; 2) the lack of analyzing the face in terms of expression recognition and symmetry analysis and 3) the limitation of the predictive capacity of the facial motion patterns with emerging biomechanical properties. The objectives of this Ph.D. are to develop innovative engineering solutions toward a next-generation computer-aided decision support system for facial analysis and rehabilitation. The thesis provided four main contributions: 1) the fast reconstruction of the 3D face shape from a single 2D image using deep learning approaches; 2) the improvement of facial expression recognition using 3D point set and geometric deep learning; 3) the face symmetry analysis based on novel descriptors and the difference between two different populations (Caucasian and Asian) and 4) the proposition of a novel modeling workflow for learning facial motion by coupling reinforcement learning and the finite element modeling for facial motion learning and prediction. The thesis opens new avenues for developing and deploying an end-to-end computer-aided decision support system to guide and optimize the functional rehabilitation program.
Les patients atteints de paralysie faciale ou les patients sous transplantation faciale présentent des dysfonctionnements faciaux et des mouvements faciaux anormaux. Cela est dû à l'altération du nerf facial et des systèmes musculaires faciaux. La rééducation faciale traditionnelle actuelle est principalement basée sur une approche miroir pour surveiller le retour visuel qualitatif de l'exercice de rééducation. Des systèmes assistés par ordinateur basés sur des modèles basés sur la physique ont également été développés pour fournir des informations objectives et quantitatives. Cependant, l'utilisation de ces systèmes dans la pratique clinique de routine reste encore difficile en raison de plusieurs limitations : 1) le manque de d'informations 3D à partir d'images ou la dépendance des caméras sélectionnés ; 2) le manque d'analyse du visage en termes de reconnaissance d'expression et d'analyse de symétrie et 3) la limitation de la capacité prédictive des modèles de mouvement du visage avec des propriétés biomécaniques émergentes. Les objectifs de la thèse ont été de développer des solutions d'ingénierie innovantes pour un système d'aide à la décision assistée par ordinateur de nouvelle génération pour l'analyse faciale et la rééducation fonctionnelle. La thèse a fourni quatre contributions principales : 1) la reconstruction rapide de la forme du visage en 3D à partir d'une seule image 2D en utilisant des approches d'apprentissage en profondeur ; 2) l'amélioration de la reconnaissance des expressions faciales à l'aide d'un ensemble de points 3D et d'un apprentissage profond géométrique ; 3) l'analyse de la symétrie du visage basée sur de nouveaux descripteurs et la différence entre deux populations différentes (caucasienne et asiatique) et 4) la proposition d'un nouveau cadre de modélisation pour l'apprentissage du mouvement facial en couplant l'apprentissage par renforcement et la modélisation par éléments finis pour l'apprentissage et la prédiction du mouvement facial. En conclusion, la thèse a proposé un cadre pour le développement et le déploiement un système d'aide à la décision assistée par ordinateur de bout en bout pour guider et optimiser le programme de rééducation fonctionnelle.
Fichier principal
Vignette du fichier
These_UTC_Duc_Phong_Nguyen.pdf (4.64 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03813649 , version 1 (13-10-2022)

Identifiants

  • HAL Id : tel-03813649 , version 1

Citer

Duc-Phong Nguyen. Enhanced facial behavior recognition and rehabilitation using 3D biomechanical features and deep learning approaches. Biomechanics [physics.med-ph]. Université de Technologie de Compiègne, 2022. English. ⟨NNT : 2022COMP2688⟩. ⟨tel-03813649⟩
56 Consultations
57 Téléchargements

Partager

Gmail Facebook X LinkedIn More