EXPLOITING THE DYNAMICS OF THE GESTURE IN HCI. APPLICATIONS TO THE TRANSFER FUNCTIONS FOR POINTING AND EXTRACTING DISCRETE EVENTS.
Exploitation de la dynamique du geste en IHM. Application aux fonctions de transfert pour le pointage et l'extraction d'évènements discrets.
Résumé
The dynamic of the gesture isn't used a lot in the domain of human-computer interaction, while it can help to define some simple heuristics to analyse the intents of the users. Its first use is related to the transfer function of isotonic devices. Those functions establish a relationship between the gesture of the user, done in the motor space with the pointing device (i.e. a mouse), and the movement of the pointer in the visual space. The transfer functions used by the modern operating systems are still not well known, even if some studies has shown they have an impact on user's performances. To characterize those functions, we have developed an electronic device which simulates a real mouse, and that can obtain the transfer functions of any system. We have then accessed the functions of the Windows, Linux and Mac systems, and we observed some visible differences between those functions. We have then tried to optimize those functions by reducing their number of degrees of liberty. By varying those parameters in an exhaustive way, we have then observed some significant differences that show there is a family of functions for which performances are optimal. Finally, we were interested in the use of the dynamics of the gesture in another context : the creation of discrete events, useful when dealing with contact-less interfaces, like the Kinect. We have shown that it is possible to distinguish between picking and drag'n'drop in a 3D interaction task. The technique is then improved in the case of small sized targets, and its application in a 2D interaction context is evaluated.
La dynamique du geste reste peu exploitée dans le domaine de l'interaction homme-machine alors qu'elle permet de définir des critères simples d'analyse de l'intention des utilisateurs. Sa principale utilisation porte sur les fonctions de transfert des périphériques isotoniques. Ces fonctions permettent d'établir une relation entre le geste de l'utilisateur effectué dans l'espace moteur avec le périphérique de pointage (i.e. souris) et le mouvement du pointeur dans l'espace visuel. Les fonctions de transfert utilisées par les systèmes d'exploitation modernes restent cependant fortement méconnues même si des études ont montré qu'elles ont un impact sur les performances des utilisateurs. Pour caractériser ces fonctions, nous avons développé un périphérique électronique qui simule une souris réelle et qui permet d'obtenir les fonctions de transfert de tout système. Nous avons ainsi pu obtenir les fonctions des systèmes Windows, Linux et Mac et nous avons observé des différences notables entre ces fonctions. Nous avons ensuite cherché à optimiser ces fonctions en réduisant au maximum le nombre de leurs degrés de liberté. En faisant varier de manière exhaustive ces paramètres, nous avons ainsi pu observé des différences significatives qui montrent qu'il existe une famille de fonctions pour lesquelles les performances sont optimales. Enfin, nous nous sommes intéressés à l'utilisation de la dynamique du geste dans un autre contexte, celui de la génération d'événements discrets, pertinent dans le cadre des interfaces sans contact de type Kinect. Nous avons ainsi montré qu'il est possible de distinguer la sélection du déplacement dans une tâche d'interaction 3D. La technique développée est ensuite améliorée dans le cas des cibles de petites tailles et son application dans un contexte d'interaction 2D est évaluée.