Ancrages et modèles dynamiques de la prosodie : application à la reconnaissance des émotions actées et spontanées - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2011

Speech anchor and dynamic models of prosody : application to acted and spontaneous emotion recognition

Ancrages et modèles dynamiques de la prosodie : application à la reconnaissance des émotions actées et spontanées

Résumé

Recognition of emotional state of a speaker is an important step in making the humanmachine communication more natural and friendly. We study in this thesis the problem of emotion-oriented automatic speech processing (ASP) on both acted and natural data. The study of spontaneous emotions is conducted along with the ones having communication disorders which limit the development of the interaction's capabilities of a child. Techniques derived from emotion-oriented ASP must be based on robust parameters to describe the emotional correlates, and also face the constraints that are related to the change of speaker and semantic context. In this view, our work is based on the use of automated techniques to perform emotion recognition: we use many complementary anchors of speech (e.g., pseudophonemes) to extract different types of parameters from the signal (e.g., acoustic and prosodic), and also combine techniques to estimate their contributions in the recognition task. An effort has been done to focus on the development of new unconventional models of speech rhythm, since this component is not modeled clearly in the state-of-the-art emotion recognition systems. The experiments conducted in this thesis aim to demonstrate the relevance of using several anchor points of speech and their associated rhythmic patterns to identify the features that are correlated with emotions. The study of prototypical emotions has permitted to define a continuum which represents the emotional categories along with the emotional wheel of Plutchik. The analysis of communication disorders are carried out in close collaboration with clinicians and researchers teams in emotion-oriented ASP. This work aims to use automated methods (i.e., identification of speech anchor points and extraction of prosodic features) to characterize the features that are associated to a given language impairment (LI), e.g., autism, dysphasia and pervasive developmental disorders non-otherwise specified (PDD-NOS). A control group of typically developing children is also used to compare the prosodic abilities of the LI subjects. The results we obtained in this study are very promising because they contributed significantly to discriminate all of the LI subjects from the typically developing children, and also discriminate the different groups of LI in two distinct type of events: (i) imitation of intonation contours (constrained task) and (ii) production of spontaneous emotional speech (unconstrained task). In addition, the results provided by an automatic analysis of these data also allowed retrieving the diagnostic criteria defined by clinicians on the different groups of LI children. Current techniques in ASP can thus overcome the difficulties created by the study of spontaneous speech data produced by children voices. This opens the way for the difficult but so interesting task of how to make friendly and less "cold" communication systems that are currently available to us.
La reconnaissance de l'état émotionnel d'un locuteur est une étape importante pour rendre la communication Homme-machine plus naturelle et conviviale. Nous étudions dans cette thèse la problématique du traitement automatique de la parole (TAP) orienté émotion sur des données actées et naturelles. L'étude des émotions spontanées a été effectuée en parallèle avec celles des troubles de la communication (TC), puisque ces troubles limitent les capacités d'interaction de l'enfant. Les techniques incluses dans les systèmes de TAP orienté émotion doivent reposer sur des paramètres robustes dans la description des corrélats de l'affect, mais aussi face aux contraintes liées au changement de locuteur et de contexte sémantique. Dans cet esprit, nos travaux ont exploité un ensemble de traitements automatiques pour effectuer la reconnaissance des émotions. Nous avons notamment identifié des points d'ancrage complémentaires de la parole (e.g., pseudo-phonèmes) pour extraire plusieurs types de paramètres (e.g., acoustique et prosodique) sur le signal. Des techniques de fusion ont aussi été employées pour estimer la con-tribution de ces approches dans la tâche de reconnaissance. De plus, un effort a été tout spécia-lement porté sur le développement de modèles non-convent-ionnels du rythme, puisque cette composante apparaît clairement comme étant sous modélisée dans les systèmes état-de-l'art. Les expériences effectuées dans cette thèse visent à démontrer la pertinence des points d'ancrage de la parole et des modèles du rythme pour identifier les paramètres corrélés aux émotions. L'étude des émotions prototypiques (i.e., actées) par les modèles non-conventionnels du rythme a, par exemple, permis de définir un continuum de valeurs représentant alors les classes d'émotions qui apparaissent selon la roue de Plutchik. Les analyses portant sur les TC ont été effectuées en étroite collaboration avec des équipes de cliniciens et de chercheurs en TAP orienté émotion. Ces travaux ont eu pour but d'employer des méthodes automatiques (i.e., identification des points d'ancrage de la parole et extraction de paramètres prosodiques) pour caractériser les particularités associées aux types de TC étu-diés, i.e., autisme, dysphasie et troubles envahissants du développement non-spécifiés (TED-NOS). Un groupe contrôle composé d'enfants à développement typique a aussi été étudié pour comparer les capacités prosodiques des sujets TC. Les résultats de cette étude sont prometteurs puisqu'ils ont montré que l'ensemble des sujets pathologiques pouvait être discriminé significa-tivement des typiques, tout comme les différents groupes de TC, selon deux types d'épreuves distinctes : (i) imitation de contours intonatifs (tâche contrainte) et (ii) production de parole affective spontanée (tâche non-contrainte). De plus, les résultats fournis par une analyse auto-matique des données ont permis de retrouver les caractéristiques cliniques des groupes de TC. Les techniques actuelles en TAP orienté émotion sont donc suffisamment matures pour s'affranchir des difficultés créées par l'étude de corpus contenant de la parole spontanée et/ou produite par des voix d'enfants. Par conséquent, la difficile mais au combien importante tâche " d'humanisation " des systèmes communicants peut être envisagée, puisque les machines peuvent avoir la capacité de percevoir de façon robuste l'affect dans des situations naturelles
Fichier principal
Vignette du fichier
ThA_se.pdf (9.88 Mo) Télécharger le fichier

Dates et versions

tel-00825312 , version 1 (23-05-2013)

Identifiants

  • HAL Id : tel-00825312 , version 1

Citer

Fabien Ringeval. Ancrages et modèles dynamiques de la prosodie : application à la reconnaissance des émotions actées et spontanées. Traitement du signal et de l'image [eess.SP]. Université Pierre et Marie Curie - Paris VI, 2011. Français. ⟨NNT : 2011PA066048⟩. ⟨tel-00825312⟩
603 Consultations
1392 Téléchargements

Partager

Gmail Facebook X LinkedIn More