Multimodal human-machine dialogue: from pragmatic linguistics to system design
Dialogue homme-machine multimodal : de la pragmatique linguistique à la conception de systèmes
Résumé
Human-machine dialogue aims at providing natural dialogue in natural language, i.e., allowing the user to speak using his own language (natural language), following a structure of moves and exchanges that is similar to human dialogue structure (natural dialogue). Related research works feed on linguistics, which analyses language markers, and pragmatics, which analyses language use in context. Two important sectors of linguistic pragmatics focus on referring phenomena, for instance referring to the objects that are accessible in the dialogue context, and speech acts, or dialogue acts, i.e., communicative actions carried out by utterances. We present our modelling and formalizing works dealing with these two aspects and with their application to dialogue systems, particularly when a visual scene is implied or when co-verbal gestures are processed together with speech (multimodal dialogue). Human-machine dialogue also aims at facilitating the design and development of effective systems, with methodologies and means like software architectures. We present our theoretical and practical works in this way, illustrated by our participation to several European projects. We then propose some future works that focus on the integration of linguistic and pragmatic phenomena like salience and ambiguity to human-machine dialogue.
Un des objectifs fondamentaux du dialogue homme-machine est de se rapprocher du dialogue naturel en langage naturel, c'est-à-dire de permettre une interaction entre la machine et son utilisateur humain dans la langue de celui-ci (langage naturel), avec une structure d'échanges similaire à un dialogue humain (dialogue naturel). Les recherches impliquées se nourrissent de travaux linguistiques qui analysent la langue et de travaux pragmatiques qui analysent l'usage du langage en contexte. Deux facettes importantes de la pragmatique linguistique portent ainsi sur les phénomènes de référence, par exemple les désignations des objets accessibles dans le contexte situationnel, et sur les actes de langage, ou actes de dialogue, c'est-à-dire les actions communicatives effectuées par les énoncés constituant les tours de parole. Nous présentons nos travaux de modélisation et de formalisation de ces deux facettes, avec leur application au dialogue avec support visuel et au dialogue associant parole et gestes co-verbaux (dialogue multimodal). Un autre objectif du dialogue homme-machine est de mettre en oeuvre des méthodologies et des moyens, par exemple des architectures logicielles réutilisables, pour faciliter le développement de systèmes. Nous présentons nos réflexions et nos réalisations dans ce sens, à travers notamment notre participation à un ensemble de projets européens. Nous proposons enfin des perspectives de recherche qui visent à mieux intégrer au dialogue homme-machine des phénomènes linguistiques et pragmatiques telles que la saillance et l'ambiguïté.
Loading...