Image Analysis and Shape Models for Detection and Recognition. Application to Face in Multimedia.
Analyse d'images et modèles de formes pour la détection et la reconnaissance. Application aux visages en multimédia.
Résumé
Mouth segmentation is an important issue which applies in many multimedia applications.
In this work, our goal is to have a robust and efficient detection of lips contour in order to restore as faithfully as possible the speech movement. We specially focus on the detection of the inner mouth contour which is a difficult task due to the non-linear appearance variations.
We propose a method based on a statistical model of shape and sampled-appearance with local appearance gaussian descriptors.
Our hypothesis is that the response of the local descriptors can be predicted from the shape by a non-linear neural network.
We tested this hypothesis with a single speaker task and then generalized it to take care of the inter person appearance variability in a multi-speaker task.
To that purpose, we adapt progressively our model to the speaker by determining its characteristic appearance.
From our automatic segmentation of the mouth, we can then generate a clone of a speaker mouth whose lips movements will be as close as possible of the original ones.
Finally, we evaluate our method relevance quantitatively and next qualitatively by carrying out an experience which quantify the effective enhancement in comprehension brought by our analysis-resynthesis scheme in a telephone enquiry task.
In this work, our goal is to have a robust and efficient detection of lips contour in order to restore as faithfully as possible the speech movement. We specially focus on the detection of the inner mouth contour which is a difficult task due to the non-linear appearance variations.
We propose a method based on a statistical model of shape and sampled-appearance with local appearance gaussian descriptors.
Our hypothesis is that the response of the local descriptors can be predicted from the shape by a non-linear neural network.
We tested this hypothesis with a single speaker task and then generalized it to take care of the inter person appearance variability in a multi-speaker task.
To that purpose, we adapt progressively our model to the speaker by determining its characteristic appearance.
From our automatic segmentation of the mouth, we can then generate a clone of a speaker mouth whose lips movements will be as close as possible of the original ones.
Finally, we evaluate our method relevance quantitatively and next qualitatively by carrying out an experience which quantify the effective enhancement in comprehension brought by our analysis-resynthesis scheme in a telephone enquiry task.
La segmentation de la bouche est un problème important qui trouve des applications dans plusieurs domaines du multimédia.
Dans ce travail, notre objectif est d'obtenir une détection robuste et efficace des contours des lèvres de façon à être capable de restaurer les mouvements de la parole aussi fidèlement que possible.
Nous apportons une attention particulière au contour intérieur de la bouche dans la segmentation est une tâche difficile à cause des variations non-linéaires de l'apparence.
Nous proposons une méthode basée sur un modèle statistique de la forme et de l'apparence échantillonnée faisant intervenir des descripteurs gaussiens locaux d'apparence.
Notre hypothèse est que la réponse de ces descripteurs locaux peut être prédite à partir de la forme par le biais d'un réseau de neurones non-linéaire.
Nous avons d'abord testé cette hypothèse dans un cas mono-locuteur et l'avons ensuite généralisé à un cas multi-locuteurs en tenant de la variabilité
inter-personne.
A cet effet, nous adaptons progressivement notre modèle au locuteur traité en déterminant son apparence caractéristique.
A partir de notre segmentation de la bouche, nous pouvons ensuite générer un clone de la bouche de la personne dont les mouvements seront aussi proches que possible de ceux de l'originale.
Finalement, nous avons évalué quantitativement puis qualitativement la pertinence de notre méthode en menant une expérience qui a quantifié l'apport effectif de compréhension de notre schéma d'analyse/synthèse dans le cas de numéros de téléphone en milieu bruité.
Dans ce travail, notre objectif est d'obtenir une détection robuste et efficace des contours des lèvres de façon à être capable de restaurer les mouvements de la parole aussi fidèlement que possible.
Nous apportons une attention particulière au contour intérieur de la bouche dans la segmentation est une tâche difficile à cause des variations non-linéaires de l'apparence.
Nous proposons une méthode basée sur un modèle statistique de la forme et de l'apparence échantillonnée faisant intervenir des descripteurs gaussiens locaux d'apparence.
Notre hypothèse est que la réponse de ces descripteurs locaux peut être prédite à partir de la forme par le biais d'un réseau de neurones non-linéaire.
Nous avons d'abord testé cette hypothèse dans un cas mono-locuteur et l'avons ensuite généralisé à un cas multi-locuteurs en tenant de la variabilité
inter-personne.
A cet effet, nous adaptons progressivement notre modèle au locuteur traité en déterminant son apparence caractéristique.
A partir de notre segmentation de la bouche, nous pouvons ensuite générer un clone de la bouche de la personne dont les mouvements seront aussi proches que possible de ceux de l'originale.
Finalement, nous avons évalué quantitativement puis qualitativement la pertinence de notre méthode en menant une expérience qui a quantifié l'apport effectif de compréhension de notre schéma d'analyse/synthèse dans le cas de numéros de téléphone en milieu bruité.
Mots clés
Face and Lips Analysis
Active Shape and Appearance Model
Local Appearance Description
Non-Linear Shape/Appearance Association
Qualitative Method Evaluation
Evaluation<br />Qualitative de Méthode
Reconnaissance
Analyse d'images
Modèle actif des lèvres
segmentation de la bouche
Locuteur
Analyse des Lèvres et du Visage
Modèles Actifs de Forme et d'Apparence
Description Locale d'Apparence
Association Non-Linéaire Forme/Apparence
Evaluation<br />Qualitative de Méthode.
Loading...