Interaction multimodale en entrée : Conception et Prototypage - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2010

Input Multimodal Interaction : Design and Prototyping

Interaction multimodale en entrée : Conception et Prototypage

Résumé

In our work, we focus on the design of interactive systems. We are specifically interested in multimodal interactive systems that include several interaction modalities used by the user (input modalities) or by the system (output modalities) in an independent or combined way. Recent years have seen the advent of a variety of interaction modalities including multi-touch, two-handed and tangible interfaces: Multimodal interaction is no longer reduced to the combination of speech and gesture and we are facing a wide range of possibilities for multimodal interaction. In this context, our doctoral research is dedicated to conceptual and software tools for efficiently exploring the huge set of possibilities during the design phase of input multimodal interfaces. We present a component-based approach for designing and prototyping functional and/or simulated input multimodal interfaces. Our approach relies on the data-flow, from input devices to the user-tasks, depicted by an assembly of components. Our results are both conceptual and practical. Our conceptual model consists of a characterization space for describing components. This space helps interaction designers to define component assemblies and to consequently consider different design alternatives for input multimodality. Our software tool is a component-based prototyping tool that implements the characterization space (i.e., our conceptual model). We have implemented several multimodal prototypes using this tool, both functional and simulated by a human using a Wizard Of Oz approach. The developed multimodal prototypes involve a large variety of interaction modalities including 2D/3D gesture, 3D pointing technique, speech commands, head and body movements, geolocalization techniques as well as tangible techniques.
Les interfaces multimodales se caractérisent par la multiplicité des modalités d'interaction et leurs combinaisons. Ces modalités d'interaction atomiques ou combinées sont offertes à l'utilisateur pour interagir avec un système (modalités en entrée) ou exploités par le système pour fournir des informations (modalités en sortie). L'interaction multimodale en entrée ne se limite plus aujourd'hui à la combinaison de la parole et du geste : de nombreuses modalités d'interaction, comme les interactions multi-doigts et bi-manuelles, le suivi du regard ou les interfaces tangibles, ouvrent un vaste espace de possibilités pour la multimodalité. Face à ce constat, il est donc important de pouvoir explorer efficacement l'espace de possibilités lors de la conception d'interfaces multimodales : nos travaux visent à définir des solutions conceptuelles et logicielles pour l'exploration des possibilités en termes d'interactions multimodales en entrée. Nous présentons ainsi une approche à composants pour la conception et le prototypage fonctionnel et/ou non fonctionnel d'interfaces multimodales en entrée. Nous adoptons une approche par flots de données, reposant sur un assemblage de composants qui décrit l'interaction multimodale en entrée pour une tâche utilisateur donnée. Nos contributions sont conceptuelles et logicielles. Notre contribution conceptuelle consiste en un espace de caractérisation de composants logiciels pour la multimodalité en entrée. Cet espace permet de caractériser les composants logiciels au sein de l'assemblage de composants qui décrit une interaction multimodale. Il offre au concepteur un cadre conceptuel afin de lui permettre de décrire précisément des alternatives de conception. Notre contribution logicielle consiste en un outil de prototypage basé sur un modèle à composants qui implémente notre espace de caractérisation (notre contribution conceptuelle). L'outil permet au concepteur de créer et d'exécuter un assemblage de composants définissant une interaction multimodale. Nous avons développé de nombreux prototypes multimodaux sur PC et sur téléphones mobiles à l'aide de cet outil, qu'ils soient fonctionnels ou en partie simulés par un compère humain selon une approche Magicien d'Oz. Ces prototypes mettent en oeuvre une grande variété de modalités d'interaction comme des gestes 2D et 3D, le pointage 3D, la voix, les mouvements de la tête, les mouvements du corps, la géolocalisation ou encore des interactions tangibles.
Fichier principal
Vignette du fichier
These-Serrano2010.pdf (13.48 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-01017242 , version 1 (02-07-2014)

Identifiants

  • HAL Id : tel-01017242 , version 1

Citer

Marcos Serrano. Interaction multimodale en entrée : Conception et Prototypage. Interface homme-machine [cs.HC]. Université de Grenoble, 2010. Français. ⟨NNT : ⟩. ⟨tel-01017242⟩
669 Consultations
692 Téléchargements

Partager

Gmail Facebook X LinkedIn More