Speech Usage In Multimodal Interfaces
Etude de l'usage de la parole dans les interfaces multimodales
Résumé
The goal of this thesis is to consider the issues related to speech introduction in multimodal human-machine interfaces. To determine and establish the problems and constraints of specification, which can make human-machine communication to maximum efficiency. The study is concentrated on the user to find what impacts exist when using multiple communication channels in human-machine interaction. Main issues covered the usage of multimodality, the implementation of multimodal human-machine interfaces and the usability of multimodality. Experimental methods were tested on 34 users, who performed two simulations. First, in inter-human interaction, as a simulation of the human-computer interface. Second, in real human-computer communication environment, using a multimodal interface. These experiments where aimed at studying what we can be achieved by using a multimodal interface and to determine its limitations. A second experimental study will be aimed at the usability of a multimodal interface in real live applications. Studying the behavior of the users in relation to the facilities used, the environment, and the performance of the real multimodal interface in this situation. Finally, using the experimental methods and a cognitive model of the human user, this thesis is aimed to prove that the use of multimodality involves a certain time overhead, due to the effects of the concurrent use of human communication channels.
Le but de ce travail est d'étudier l'introduction de la parole dans les interactions homme-machine multimodales et de trouver des contraintes de spécification d'une interface multimodale qui rende la communication avec la machine plus efficace et moins coûteuse. Les objectifs de ce travail concernent les trois points suivants : l'étude de l'usage de la multimodalité, la réalisation d'un système multimodal et l'étude de l'utilisabilité de la multimodalité. L'étude a utilisé des méthodes expérimentales pour clarifier ces points. En ce qui concerne l'usage de la multimodalité deux expériences sont effectuées sur des sujets de test : d'abord dans un cadre de communication inter-humaine qui simule une interface homme-machine réelle, puis en situation de communication homme-machine réelle avec une interface multimodale. Le but de ces expériences est d'observer ce que l'interface multimodale peut offrir et quelles sont ses limites. En ce qui concerne l'utilisabilité de la multimodalité, des tests sont faits à partir d'une expérimentation d'une interface homme-machine multimodale. L'étude se base sur un modèle cognitif de l'être humain pour définir et évaluer les interfaces homme-machine.
Loading...