Analyse de Signaux Sociaux pour la Modélisation de l'interaction face à face - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2010

Analysis of Social Signals for modelling Face-to-Face Interaction

Analyse de Signaux Sociaux pour la Modélisation de l'interaction face à face

Résumé

This thesis is situated in the boarder of two research do- mains: emotional speech recognition and affective interaction analysis. It revolves around the automatic detection of infant-directed speech in home made videos and the analysis of child-parent interaction in the same data. In order to analyse a special kind of speech called motherese or infant-directed speech, we first developed an automatic infant-directed speech detection system based on supervised learning approach, with the aim to parent-infant interaction analysis. However the supervised methods still have some significant limitations. One of these limitations is that large amount of labelled data are needed for training. Therefore, to overcome this problem, we implemented a new semi-supervised approach for infant directed speech detection based on the extension of the standard co-training algorithm of Blum and Mitchell. The second part of this thesis consists of study of non-verbal communication. We focus on the analysis and interpretation of different social signals exchanged in parent-infant interaction. However, there are considerable differences among infants in the quality of interaction with their parents. These differences depend especially on the infant's development which affects the parent behaviours. In our study we are interested on 3 groups of infants: typical development infants (TD), autistic infants (AD) and mental retardation infants (MR). In order to identify the groups of signs/behaviours that differentiate the development of the three groups of children we investigated a clustering method NMF (non- negative matrix factorization), an algorithm based on decomposition by parts that can reduce the dimension of interaction signs to a few number of interaction behaviours groups. Coupled with a statistical data representation, usually used for document clustering and adapted to our work.
Cette thèse se situe à la frontière des domaines de la reconnaissance de signaux émotionnels et de l'analyse de l'interaction sociale. Dans un premier temps, nous avons étudié une émotion non prototypique, appelée motherese, qui joue un rôle important dans l'interaction parent-enfant. Afin d'étudier cette émotion, nous avons développé un système de détection automatique des émotions basé d'abord sur l'apprentissage supervisé. Ensuite pour pallier au manque de données étiquetées, nous avons développé une approche semi-supervisée permettant une meilleure qualité de classification avec un coût inférieur. Cette approche permet de combiner des exemples étiquetés et non étiquetés pour l'apprentissage. Le système proposé est une extension de l'algorithme de co-apprentissage. Cette approche est dite multi-vue car elle consiste à combiner différentes vues (descripteur+classifieur) afin d'obtenir une prédiction unique par exemple de test. Au-delà de la reconnaissance de signaux émotionnels, il s'agit de structurer et d'interpréter les différents signaux de communication dans un contexte d'interaction face à face. Nous avons proposé un modèle computationnel de l'interaction parent-enfant. Il consiste à modéliser les réponses des enfants par rapport aux stimulations des parents. Nous avons proposé ainsi des analyses quantitative et statistique afin d'étudier l'interdépendance des signaux d'interaction et les comportements humains, en particulier le rôle de motherese pour l'engagement de l'interaction parent-enfant. Enfin, dans le but d'identifier les groupes de comportements les plus pertinents, nous avons développé une technique de regroupement automatique de signaux qui permet d'extraire les différents patterns interactifs. Cette extraction de comportements interactifs permet de discriminer différents groupes: enfants avec développement typique, autistique et avec retard mental.
Fichier principal
Vignette du fichier
These_Ammar_Mahdhaoui.pdf (7 Mo) Télécharger le fichier

Dates et versions

tel-00587051 , version 1 (19-04-2011)

Identifiants

  • HAL Id : tel-00587051 , version 1

Citer

Ammar Mahdhaoui. Analyse de Signaux Sociaux pour la Modélisation de l'interaction face à face. Traitement du signal et de l'image [eess.SP]. Université Pierre et Marie Curie - Paris VI, 2010. Français. ⟨NNT : ⟩. ⟨tel-00587051⟩
623 Consultations
1442 Téléchargements

Partager

Gmail Facebook X LinkedIn More