Agents Conversationnels Animés pour l'entrainement social : modèle computationnel de l'expression d'attitudes sociales par des séquences de signaux non-verbaux - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2015

Embodied Conversational Agents for social training: computational model for the expression of social attitudes through sequences of non-verbal signal

Agents Conversationnels Animés pour l'entrainement social : modèle computationnel de l'expression d'attitudes sociales par des séquences de signaux non-verbaux

Mathieu Chollet

Résumé

The Embodied Conversational Agents (ECAs) used in social training must be able to simulate all the different social situations that a learner has to train to. Depending on the application, the ECAs must then be able to express various emotions or various attitudes. Non-verbal signals, such as smiles or gestures, contribute to the expression of attitudes. However, recent findings have demonstrated that non-verbal signals are not interpretated in isolation but along with other signals : for instance, a smile followed by a gaze aversion and a head aversion does not signal amusement, but embarassment. Non-verbal behavior planning models for ECAs should thus consider complete sequences of non-verbal signals and not only signals independently of one another. However, existing models do not take this into account, or in a limited manner. The main contribution of this thesis is a methodology for the automatic extraction of sequences of non-verbal signals characteristic of attitude variations from a multimodal corpus, and a non-verbal behavior planning model that takes into account sequences of non-verbal signals rather than signals independently. Another consideration in the design of social training systems is to check that users do improve their social skills while using such systems. We investigated the use of ECAs to build a virtual audience aimed at improving users' public speaking skills. Another contribution of this thesis is the proposal of an architecture for interactive virtual audiences that provide realtime feedback to the learner according to his public speaking performance, and to have evaluated three different feedback strategies.
Les développements récents dans le domaine des Agents Conversationnels Animés (ACAs), des personnages virtuels utilisant les modalités de la communication humaine (ex. gestes, parole) pour interagir avec un utilisateur, ont permis de proposer des systèmes pour l’entrainement des compétences sociales. Ces ACAs ont d’abord pris le rôle de tuteurs, ou de compagnons d’apprentissage, mais de nouvelles approches proposent l’utilisation des personnages virtuels afin de pratiquer ces compétences sociales en situation. Le projet Tardis propose par exemple d’utiliser un ACA dans le rôle d’un recruteur virtuel afin de s’entrainer à passer des entretiens d’embauche. Les contributions de cette thèse concernent deux enjeux de la conception de systèmes d’entrainement social par la mise en situation à l’aide d’ACAs. Les ACAs utilisés dans l’entrainement social doivent être capables de confronter l’apprenant à toutes les situations sociales nécessaires à son apprentissage. Selon l’application, les ACAs doivent ainsi pouvoir exprimer différentes émotions ou différentes attitudes. Les émotions et attitudes s’expriment en particulier par les signaux non-verbaux : sourires, postures, etc. Des recherches en psychologie ont cependant montré que l’interprétation de signaux non-verbaux est modifiée par les signaux proches : un sourire suivi d’un évitement de regard et d’un détournement de la tête n’est ainsi pas un signe d’amusement mais d’embarras. Lors de la planification des signaux non-verbaux d’un ACA, il faut donc considérer les séquences complètes de signaux non-verbaux et pas seulement ces signaux indépendamment. Or, la plupart des modèles existants ne prennent pas cela en compte, ou de manière limitée. La contribution principale de notre thèse est de proposer une méthodologie pour extraire automatiquement d’un corpus multimodal des séquences de signaux nonverbaux caractéristiques d’un phénomène socio-émotionnel étudié, et un modèle de planification de signaux non-verbaux utilisant un ensemble de séquences extraites avec cette méthode. Nous appliquons ces travaux à l’expression d’attitudes sociales par un recruteur virtuel. Une autre enjeu dans la conception de systèmes d’entrainement social est de vérifier si les utilisateurs améliorent bien leurs compétences sociales en s’entrainant avec de tels systèmes. Nous nous sommes intéressés à la réalisation d’une audience virtuelle constituée d’ACAs servant à s’entrainer à l’entrainement à la prise de parole en public. Notre seconde contribution est d’avoir proposé une architecture d’audience virtuelle réagissant en temps réel à la performance de l’utilisateur, et d’avoir évalué plusieurs stratégies de retour à l’utilisateur.
Fichier principal
Vignette du fichier
TheseFINAL.compressed.pdf (4.94 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-02074608 , version 1 (20-03-2019)

Identifiants

  • HAL Id : tel-02074608 , version 1

Citer

Mathieu Chollet. Agents Conversationnels Animés pour l'entrainement social : modèle computationnel de l'expression d'attitudes sociales par des séquences de signaux non-verbaux. Interface homme-machine [cs.HC]. Telecom Paristech, 2015. Français. ⟨NNT : ⟩. ⟨tel-02074608⟩
111 Consultations
260 Téléchargements

Partager

Gmail Facebook X LinkedIn More