From movement to interaction and gesture: studies, techniques, tools and input devices
Du mouvement à l'interaction et au geste : études, techniques, outils et périphériques
Résumé
The enhancement of computer tools becomes more dependent on the improvement and development of new human-computer interfaces than the increase in the power of machines. Input devices and interaction techniques are a constitutive part of human-computer interfaces and are at the heart of our works. Our research is part of this line of development of human-computer interaction and considers hardware, software and human capabilities related to human-computer interfaces. In this context, we highlighted the importance of transfer functions for indirect interaction. By taking into account the physical characteristics of input devices, user capabilities and by reconsidering the management of input devices in current systems we have shown how to improve existing tasks and perform tasks previously impossible to do with standard interaction techniques. In the context of direct interaction we have shown how hand occlusion can be accomodated to improve interaction with touch screens, while a better understanding of the capabilities for separating and integrating degrees of freedom can improve 3D manipulation tasks on multitouch screens. The development of new human-computer interfaces is also at the heart of our work. The limitations of existing elastic and isotonic devices led us to develop an hybrid isotonic-elastic device called RubberEdge. Our work also focuses on the use of tactile feedback with programmable friction to develop new interaction techniques, improve mode switching on touch screens with the development of an input device called Conté and the use of the interaction on and above an interactive surface with Mockup Builder. The last part of our work concerns the estimation of the perceived difficulty of pen gestures and the trajectory and kinematic gesture analysis to discriminate between select, pick and release tasks with free-hand interfaces.
L'amélioration des outils informatiques devient davantage tributaire de l'enrichissement et du développement de nouvelles interfaces homme-machines que de l'augmentation de la puissance des machines. Les périphériques et techniques d'interaction font partie intégrante des interfaces homme-machines et sont au coeur de nos travaux. Nos recherches s'inscrivent dans cet axe de développement de l'interaction homme-machine en considérant à la fois les aspects matériels, logiciels et les capacités humaines liés aux interfaces homme-machines. Dans ce cadre, nos travaux ont mis en évidence l'importance des fonctions de transfert pour les périphériques de pointage indirects et montrent qu'il existe une marge d'optimisation de ces fonctions. La prise en compte des caractéristiques physiques des périphériques, des capacités des utilisateurs et d'une reconsidération de la gestion des périphériques dans les systèmes actuels permettent en effet d'améliorer les tâches existantes et d'effectuer des tâches auparavant impossibles à réaliser avec des techniques d'interaction standards. Nous nous sommes également intéressés aux périphériques d'interaction directs pour lesquels nous avons montré que la prise en compte de l'occultation permet d'améliorer l'interaction sur écrans tactiles, tout comme une meilleure compréhension des capacités de séparation et d'intégration des degrés de liberté améliore les tâches de manipulation 3D sur écrans multipoints. Le développement de nouvelles interfaces homme-machine est également au coeur de nos travaux. La compréhension des limites des périphériques isotoniques et élastiques existants nous a conduit à développer le périphérique hybride isotonique-élastique RubberEdge. Nos travaux portent également sur l'utilisation du retour tactile avec frottement programmable pour développer de nouvelles techniques d'interaction, l'amélioration des changements de mode sur écrans tactiles avec le développement du périphérique Conté et l'exploitation de l'interaction sur et au dessus d'une surface tactile avec le système Mockup Builder. Le dernier volet de nos travaux concerne l'estimation de la difficulté perçue d'exécution de gestes et l'analyse de la dynamique de gestes pour distinguer les tâches de sélection de celles de saisie d'objets dans le cadre d'interfaces sans contact.