Mesure de confiance trame-synchrones et locales en reconnaissance automatique de la parole - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2007

Local and frame-synchronous confidence measures for automatic speech recognition

Mesure de confiance trame-synchrones et locales en reconnaissance automatique de la parole

Joseph Razik
  • Fonction : Auteur
  • PersonId : 830986

Résumé

In automatic speech recognition, confidence measures aim at estimating the confidence we can give to a result (phone, word, sentence) provided by the speech recognition engine; for example, the contribution of the confidence measure allows to highlight the misrecognized or out-of-vocabulary words.
In this thesis, we propose several confidence measures which are able to provide this estimation for applications using large vocabulary and on-the-fly recognition, as keyword indexation, broadcast news transcription, and live teaching class transcription for hard of hearing children.
In this framework, we have defined two types of confidence measures. The first, based on likelihood ratio, are frame-synchronous measures which can be computed simultaneously with the recognition process of the sentence. The second ones are based on an estimation of the posterior probability limited to a local neighborhood of the considered word, and need only a short delay before being computed on the sub word graph extracted from the recognition process.
These measures were assessed and compared to a state-of-the-art one, which is also based on posterior probability but which requires the recognition of the whole sentence. Two evaluations were performed on a real broadcast news corpus provided by the ESTER campaign. The first one used the Equal Error Rate criterion in an automatic transcription task. The second evaluation was performed in a keyword spotting task. We achieved performance close to our reference measure with our local measures and a delay of less than one second.
We also integrated one of our frame-synchronous measures in the decoding process of the recognition engine in order to improve the solution provided by the system and then to decrease the word error rate. We achieved to decrease the word error rate of around 1%.
Moreover, one of our confidence measure acheived to improve comprehension of hard of hearing children.
En reconnaissance automatique de la parole, les mesures de confiance tentent d'estimer la confiance qu'on peut accorder au résultat (phonème, mot, phrase) fourni par le moteur de reconnaissance ; l'apport de la mesure de confiance permettant par exemple de mettre en évidence les mots mal reconnus ou hors vocabulaire.
Dans cette thèse nous proposons des mesures de confiance capables de faire cette estimation dans le cas d'applications nécessitant une reconnaissance "grand vocabulaire" en flux continu comme l'indexation en mots clés ou la transcription en ligne d'émissions radiophoniques et télévisuelles, ou bien encore la transcription du cours d'un enseignant dans une salle de classe pour des élèves malentendants.
Dans ce cadre, nous avons défini deux types de mesure de confiance. Les premières, fondées sur des rapports de vraisemblance, sont des mesures trame-synchrones qui peuvent être calculées au fur et à mesure de la progression du moteur de reconnaissance au sein de la phrase à reconnaître. Les secondes, fondées sur une estimation de la probabilité a posteriori limitée à un voisinage local du mot considéré, nécessitent seulement un court délai avant de pouvoir être calculées.
Ces mesures ont été évaluées et comparées à une mesure de l'état de l'art également fondée sur la probabilité a posteriori mais nécessitant la reconnaissance de toute la phrase. Cette évaluation a été faite d'une part dans une tâche de transcription automatique d'un corpus réel d'émissions radiophoniques issu de la campagne ESTER et en utilisant le critère d'évaluation EER (Equal Error Rate) ; d'autre part dans une tâche de détection de mots clés sur le même corpus. Des performances très proches de celles de la mesure de l'état de l'art ont été obtenues par nos mesures locales avec un délai de moins d'une seconde.
Nous avons également intégré l'une de nos mesures trame-synchrones dans le processus de décodage du moteur de reconnaissance afin d'améliorer la solution proposée par le système et ainsi diminuer le taux d'erreur en mots d'environ 6% en relatif.
Enfin, une de nos mesures de confiance a permis par la mise en valeur de mots de faible confiance d'améliorer la compréhension de malentendants.
Fichier principal
Vignette du fichier
these_Joseph_Razik.pdf (6.02 Mo) Télécharger le fichier

Dates et versions

tel-00185747 , version 1 (06-11-2007)
tel-00185747 , version 2 (14-11-2007)

Identifiants

  • HAL Id : tel-00185747 , version 2

Citer

Joseph Razik. Mesure de confiance trame-synchrones et locales en reconnaissance automatique de la parole. Interface homme-machine [cs.HC]. Université Henri Poincaré - Nancy I, 2007. Français. ⟨NNT : ⟩. ⟨tel-00185747v2⟩
212 Consultations
84 Téléchargements

Partager

Gmail Facebook X LinkedIn More