Vérification de l'identité d'un visage parlant.<br />Apport de la mesure de synchronie audiovisuelle face aux tentatives délibérées d'imposture. - Archive ouverte HAL Access content directly
Theses Year : 2007

Vérification de l'identité d'un visage parlant.
Apport de la mesure de synchronie audiovisuelle face aux tentatives délibérées d'imposture.

(1)
1

Abstract

Authenticating people is a means to ensure the safety of people, goods or sensitive information, which is one of the major concerns of our modern societies. The main weakness of current authentication systems is that they rely on what a person owns (a passport, a magnetic card, etc.) and/or what he/she knows (a PIN number, a password, etc.). Still, a card can be stolen and a password broken.


Biometrics is the technological field dealing with authentication and/or identification of people using their physical characteristics, including morphological and behavioral measurements. This happens to be an obvious solution to the issue previously highlighted : the identity of a person is then related to who he/she is and no longer to what he/she owns or knows.

Not only is talking face one of the less intrusive biometric modality, it is also intrinsically multimodal : it includes both speaker and face verification, and a third modality related to audiovisual speech synchrony between the voice and lip motion.


In the first part of this document, we overview the literature about the talking-face biometric modality and we underline that deliberate impostor attacks are often forgotten in the development process of talking-face authentication algorithms. We simulate four kinds of deliberate impostor replay attacks in order to uncover the main weakness of classical systems based on the fusion of speaker and face verification scores.

In the second part, we propose to study the audiovisual synchrony between voice and lip motion as a way of making a classical speaker+face robust to attacks. Several novel synchrony measures based on canonical correlation analysis and co-inertia analysis are introduced and tested on the asynchrony detection task. The promising results that we obtained with a client-dependent synchrony measure led us to introduce a novel biometric modality based on audiovisual synchrony. Though it is not as efficient as speaker and face verification, this new modality is intrinsically robust to deliberate impostor attacks. We finally point out the complementarity between the speaker+face reference system and the synchrony modality and introduce novel fusion strategies that allow to achieve a good compromise between the efficiency of the former and
the robustness of the latter.
La sécurité des personnes, des biens ou des informations est l'une des préoccupations majeures de nos sociétés actuelles. L'authentification de l'identité des personnes est l'un des moyens permettant de s'en assurer. La principale faille des moyens actuels de vérification d'identité est qu'ils sont liés à ce qu'une personne possède (un passeport, un badge magnétique, etc.) et/ou ce qu'elle sait (un code PIN de carte bancaire, un mot de passe, etc.). Or, un badge peut être volé, un mot de passe deviné ou cassé par force algorithmique brute. La biométrie est le domaine technologique traitant de la vérification d'identité et/ou de l'identification de personnes par leurs caractéristiques physiques individuelles, pouvant être morphologiques ou morpho-comportementales. Elle apparaît comme une solution évidente au problème soulevé précédemment : l'identité d'une personne est alors liée à ce qu'elle est et non plus à ce qu'elle possède ou sait.

En plus d'être une des modalités biométriques les moins intrusives et donc plus facilement acceptée par le grand public, la vérification d'identité basée sur les visages parlants est intrinsèquement multimodale : elle regroupe à la fois la reconnaissance du visage, la vérification du locuteur et une troisième modalité relevant de la synchronie entre la voix et le mouvement des lèvres.

La première partie de notre travail est l'occasion de faire un tour d'horizon de la littérature portant sur la biométrie par visage parlant et nous soulevons le fait que les protocoles d'évaluation classiquement utilisés ne tiennent pas compte des tentatives délibérées d'imposture. Pour cela, nous confrontons un système de référence (basé sur la fusion des scores de vérification du locuteur et du visage) à quatre types d'imposture délibérée de type rejeu et mettons ainsi en évidence les faiblesses des systèmes actuels.

Dans la seconde partie, nous proposons d'étudier la synchronie audiovisuelle entre le mouvement des lèvres acquis par la caméra et la voix acquise par le microphone de façon à rendre le système de référence robuste aux attaques. Plusieurs nouvelles mesures de synchronie basées sur l'analyse de corrélation canonique et l'analyse de co-inertie sont présentées et évaluées sur la tâche de détection d'asynchronie. Les bonnes performances obtenues par la mesure de synchronie basée sur un modèle dépendant du client nous encouragent ensuite à proposer une nouvelle modalité biométrique basée sur la synchronie audiovisuelle. Ses performances sont comparées à celle des modalités locuteur et visage et sa robustesse intrinsèque aux attaques de type rejeu est mise en évidence. La complémentarité entre le système de référence et la nouvelle modalité synchronie est soulignée et des stratégies de fusion originales sont finalement mises en place de façon à trouver un compromis entre les performances brutes du premier et la robustesse de la seconde.
Fichier principal
Vignette du fichier
manuscrit.pdf (15.68 Mo) Télécharger le fichier

Dates and versions

tel-00265505 , version 1 (19-03-2008)

Identifiers

  • HAL Id : tel-00265505 , version 1

Cite

Hervé Bredin. Vérification de l'identité d'un visage parlant.
Apport de la mesure de synchronie audiovisuelle face aux tentatives délibérées d'imposture.. Traitement du signal et de l'image [eess.SP]. Ecole nationale supérieure des telecommunications - ENST, 2007. Français. ⟨NNT : ⟩. ⟨tel-00265505⟩
207 View
256 Download

Share

Gmail Facebook Twitter LinkedIn More