Analyse d'images et modèles de formes pour la détection et la reconnaissance. Application aux visages en multimédia. - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2006

Image Analysis and Shape Models for Detection and Recognition. Application to Face in Multimedia.

Analyse d'images et modèles de formes pour la détection et la reconnaissance. Application aux visages en multimédia.

Résumé

Mouth segmentation is an important issue which applies in many multimedia applications.
In this work, our goal is to have a robust and efficient detection of lips contour in order to restore as faithfully as possible the speech movement. We specially focus on the detection of the inner mouth contour which is a difficult task due to the non-linear appearance variations.
We propose a method based on a statistical model of shape and sampled-appearance with local appearance gaussian descriptors.
Our hypothesis is that the response of the local descriptors can be predicted from the shape by a non-linear neural network.
We tested this hypothesis with a single speaker task and then generalized it to take care of the inter person appearance variability in a multi-speaker task.
To that purpose, we adapt progressively our model to the speaker by determining its characteristic appearance.
From our automatic segmentation of the mouth, we can then generate a clone of a speaker mouth whose lips movements will be as close as possible of the original ones.
Finally, we evaluate our method relevance quantitatively and next qualitatively by carrying out an experience which quantify the effective enhancement in comprehension brought by our analysis-resynthesis scheme in a telephone enquiry task.
La segmentation de la bouche est un problème important qui trouve des applications dans plusieurs domaines du multimédia.
Dans ce travail, notre objectif est d'obtenir une détection robuste et efficace des contours des lèvres de façon à être capable de restaurer les mouvements de la parole aussi fidèlement que possible.
Nous apportons une attention particulière au contour intérieur de la bouche dans la segmentation est une tâche difficile à cause des variations non-linéaires de l'apparence.
Nous proposons une méthode basée sur un modèle statistique de la forme et de l'apparence échantillonnée faisant intervenir des descripteurs gaussiens locaux d'apparence.
Notre hypothèse est que la réponse de ces descripteurs locaux peut être prédite à partir de la forme par le biais d'un réseau de neurones non-linéaire.
Nous avons d'abord testé cette hypothèse dans un cas mono-locuteur et l'avons ensuite généralisé à un cas multi-locuteurs en tenant de la variabilité
inter-personne.
A cet effet, nous adaptons progressivement notre modèle au locuteur traité en déterminant son apparence caractéristique.
A partir de notre segmentation de la bouche, nous pouvons ensuite générer un clone de la bouche de la personne dont les mouvements seront aussi proches que possible de ceux de l'originale.
Finalement, nous avons évalué quantitativement puis qualitativement la pertinence de notre méthode en menant une expérience qui a quantifié l'apport effectif de compréhension de notre schéma d'analyse/synthèse dans le cas de numéros de téléphone en milieu bruité.
Fichier principal
Vignette du fichier
gacon.pdf (21.74 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00207391 , version 1 (17-01-2008)

Identifiants

  • HAL Id : tel-00207391 , version 1

Citer

Pierre Gacon. Analyse d'images et modèles de formes pour la détection et la reconnaissance. Application aux visages en multimédia.. Traitement du signal et de l'image [eess.SP]. Institut National Polytechnique de Grenoble - INPG, 2006. Français. ⟨NNT : ⟩. ⟨tel-00207391⟩
399 Consultations
3756 Téléchargements

Partager

Gmail Facebook X LinkedIn More