Dyadic Adaptation of Facial Expressions Using Diffusion Models
Génération de comportements non verbaux adaptatifs chez les ACA et les robots sociaux par diffusion conditionnelle
Résumé
PhD research, conducted at the Institut des Systèmes Intelligents et de Robotique (ISIR) at Sorbonne University under the supervision of Catherine Pelachaud and Laurence Chaby, focuses on modeling virtual agents and social robots capable of exhibiting adaptive non-verbal behaviors during social interactions. Specifically, my project centers on generating non-verbal behaviors, particularly facial expressions, using diffusion models within the framework of Motivational Interviewing (MI).Motivational Interviewing is a client-centered counseling technique often used to promote behavioral changes, such as reducing alcohol consumption or encouraging physical activity. In this context, virtual agents and social robots must adapt their facial expressions to the user's emotions and dialogic exchanges to enhance empathy and rapport. My approach is based on analyzing the AnnoMI corpus, a collection of interactions between therapists and clients annotated according to the dialogic acts of Motivational Interviewing. This analysis has identified patterns of co-occurrence between facial action units (AUs) and various dialogic acts. Initially, I developed a conditional diffusion model capable of generating sequences of facial expressions for a virtual counselor within the context of Motivational Interviewing. This model was evaluated both objectively and subjectively in an offline setting, with participants observing video sessions featuring a virtual agent and a client. Recently, I worked on transforming this offline setup into a real-time architecture by significantly reducing the model's inference time using techniques like DPM-solver. This advancement enables dynamic and adaptive interaction, allowing the virtual agent's or Furhat robot's facial expressions to respond in real-time to the user's facial expressions and dialogic acts. Additionally, the agent's dialogue is managed by a large language model (LLM) specifically fine-tuned for Motivational Interviewing. The goal is to deliver tailored verbal feedback enriched with empathetic non-verbal behaviors. To evaluate the effectiveness of this system, I designed a study involving human participants interacting with both a virtual agent and the Furhat social robot. The study includes three different conditions for controlling facial expressions: using the diffusion model, random facial expressions, and no facial expressions. My current work focuses on analyzing the evaluation data, specifically examining the impact of physical presence on the perceived quality of Motivational Interviewing. This involves comparing interactions with a virtual agent to those with the Furhat robot. Additionally, I am exploring Expectancy Violation Theory to better interpret the results and understand the effect of potential inconsistencies between the agent's verbal and non-verbal behaviors. The overarching goal of my research is to enhance the effectiveness of interactive agents and social robots in sensitive contexts such as Motivational Interviewing, where social adaptation, empathy, and physical presence play a crucial role in the quality of interaction.
Mon travail de thèse, mené au sein de l'Institut des Systèmes Intelligents et de Robotique (ISIR) à l'Université Sorbonne, sous la supervision de Catherine Pelachaud et Laurence Chaby, porte sur la modélisation des agents virtuels et des robots sociaux capables d'exhiber des comportements non verbaux adaptatifs dans des interactions sociales. Plus précisément, mon projet se concentre sur la génération de comportements non verbaux, notamment les expressions faciales, en utilisant des modèles de diffusion dans le cadre des entretiens motivationnels (MI). Les entretiens motivationnels sont une technique d'accompagnement client-centré, souvent utilisée pour favoriser le changement de comportements, par exemple pour réduire la consommation d'alcool ou promouvoir une activité physique. Dans ce contexte, les agents virtuels et les robots sociaux doivent pouvoir adapter leurs expressions faciales en fonction des émotions et des échanges dialogiques avec l'utilisateur afin d'améliorer l'empathie et le rapport avec celui-ci. Mon approche se base sur l'analyse du corpus AnnoMI, une collection d'interactions entre des thérapeutes et des clients annotés selon les codes des actes dialogiques de l'entretien motivationnel. Cette analyse a permis d'identifier des modèles de co-occurrence d'unités d'action faciale (AUs) liés à différents actes dialogiques. J'ai initialement développé un modèle de diffusion conditionnel permettant de générer des séquences d'expressions faciales pour un conseiller virtuel dans un cadre d'entretien motivationnel. Ce modèle a été évalué de manière objective et subjective dans un contexte hors ligne, via une évaluation subjective impliquant des participants observant des vidéos de sessions d'entretien entre un agent virtuel et un client. Récemment, j'ai travaillé sur la transformation de cette configuration hors ligne en une architecture en temps réel, en réduisant considérablement le temps d'inférence du modèle à l'aide de techniques comme DPM-solver, permettant ainsi une interaction dynamique et adaptée. Cette nouvelle architecture permet d'adapter les expressions faciales de l'agent virtuel ou du robot Furhat en fonction des expressions faciales et des actes dialogiques d'un utilisateur en temps réel. De plus, le dialogue de l'agent est pris en charge par un modèle de langage large (LLM) spécifiquement adapté pour les entretiens motivationnels. L'objectif est de fournir un retour verbal adapté, enrichi par des comportements non verbaux empathiques. Pour évaluer l'efficacité de ce système, j'ai conçu une étude impliquant des participants humains interagissant avec un agent virtuel et un robot social Furhat. Cette étude inclut trois conditions différentes de contrôle des expressions faciales : à l'aide du modèle de diffusion, des expressions faciales aléatoires, et une condition sans expressions faciales. Mes travaux en cours se concentrent sur l'analyse des données de l'évaluation sur l'impact de la présence physique sur la qualité perçue des entretiens motivationnels, en comparant l'interaction avec un agent virtuel à celle avec le robot Furhat. De plus, j'explore la théorie de la violation des attentes (Expectancy violation theory) afin de mieux traiter les résultats et comprendre l'effet des incohérences potentielles entre les comportements verbaux et non verbaux de l'agent. L'objectif global de mes travaux est d'améliorer l'efficacité des agents interactifs et des robots sociaux dans des contextes sensibles tels que les entretiens motivationnels, où l'adaptation sociale, l'empathie, et la présence physique jouent un rôle essentiel dans la qualité de l'interaction.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
