Étude de la coordination gestes manuels / parole dans le cadre de la désignation - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2012

Study of the coordination of manual gestures and speech during designation

Étude de la coordination gestes manuels / parole dans le cadre de la désignation

Résumé

The work presented in this manuscript aims at describing the coordination between manual gestures and speech during the production of multimodal utterances. Since it is possible to designate using either manual ges tures or speech (or both), the coordination is studied within this framework. All the experiments presented have been conducted in a lab-environment in order to obtain precise and reproducible data. Nevertheless, substantial thinking about experimental setups have been done so as to end up with rather natural tasks and try to avoid "fake" multimodal productions. The first two studies shed light on the coordination when producing manual gestures and narrow-focused speech. Various types of manual gestures have been taken into account (pointing, beats, button-press). It is shown that focus production attracts manual gesture production whichever its type. Moreover, pointing gesture is more precisely and more consistently attracted than the other types of gestures. Interestingly, manual gestures seems to be coordinated with articulatory targets rather than acoustic ones. The second study modifies the "des ignation" link that unites pointing gesture and speech. It shows the great complexity of mechanisms underlying coordination by raising two strategies of coordination used by participants. The last experiment uses a more natural interactive and collaborative task. Results show a cooccurrence in production between the part of manual gesture that shows and its complementary information found in speech. Moreover, hindering the interaction using noise has an influence on multimodal productions: a classical Lombard effect is observed for speech and the part of gesture that shows is lengthened by a duration close to the speech lengtening. Finally, this manuscript presents an overview of the annotation process that was set up to label the afor mentionned tasks. This annotation process can be generalized and thus constitutes an important part of the work. The conclusion put into perpective the results found in order to enhance existing models of manual ges tures/speech coproduction and suggests applications in fields such as embodied conversational agents or pathol ogy detection/rehabilitation.
Le travail présenté dans cette thèse vise à étudier la coordination entre gestes manuels et parole lors de la production d'énoncés multimodaux. Cette coordination est étudiée plus précisément dans le cadre de la dési gnation, réalisable à la fois dans la modalité manuelle et en parole. Les études présentées sont menées dans un environnement contrôlé de laboratoire afin d'obtenir des mesures précises et reproductibles. Un travail particu lier de mise en place des protocoles a néanmoins permis de maintenir des tâche assez naturelles afin de ne pas induire des productions trop artificielles. Les deux premières études s'intéressent à la production conjointe de gestes manuels et de parole contenant de la focalisation. Plusieurs types de gestes sont comparés (geste de pointage, geste de battement et geste d'appui sur un bouton). Il est montré que la production de focalisation attire le geste manuel quel que soit son type mais que l'attraction est plus " précise " et fine pour le pointage. Par ailleurs, l'apex du geste de pointage semble être cooccurent à une cible articulatoire plutôt qu'acoustique. La seconde étude manipule le lien de désignation le geste de pointage et la parole. Elle montre, en exhibant deux stratégies adoptées par les participants, la complexité des mécanismes mis en jeu dans cette coordination. Finalement, une troisième étude s'intéresse à la coordination dans une tâche interactive et collaborative plus naturelle. Les résultats montrent une cooccurrence de la partie du geste qui montre avec l'information qui lui est complémentaire en parole. La perturbation de l'interaction par un bruit ambiant modifie les productions : la parole subit un effet Lombard classique et la production de gestes semble adaptater de la durée de la partie du geste qui montre à l'allongement de la parole. Ce mémoire propose enfin une exploration des procédés d'annotation multimodaux mis en place pour l'an notation de tâches semi-contrôlées mais applicables à des cas plus généraux. Le manuscrit se conclut par une mise en perspective des résultats pour l'amélioration de certains modèles de production conjointe gestes ma nuels/parole et fournit quelques pistes utilisables dans le domaine des agents conversationnels ainsi que pour la détection de pathologies.
Fichier principal
Vignette du fichier
Roustan_benjamin_2012_FINAL.pdf (3.15 Mo) Télécharger le fichier
soutenanceRoustan.pdf (4.32 Mo) Télécharger le fichier
Format : Autre

Dates et versions

tel-00759199 , version 1 (03-12-2012)
tel-00759199 , version 2 (20-09-2013)

Identifiants

  • HAL Id : tel-00759199 , version 1

Citer

Benjamin Roustan. Étude de la coordination gestes manuels / parole dans le cadre de la désignation. Psychologie. Université de Grenoble, 2012. Français. ⟨NNT : ⟩. ⟨tel-00759199v1⟩
662 Consultations
2619 Téléchargements

Partager

Gmail Facebook X LinkedIn More