Improving mediated touch interaction with multimodality
Vers une amélioration de l’interaction tactile médiée par la multimodalité
Résumé
As one of the most important non-verbal communication channels, touch is widely used for different purposes. It is a powerful force in human physical and psychological development, shaping social structures as well as communicating emotions. However, even though current information and communication technology (ICT) systems enable the use of various non-verbal languages, the support of communicating through the sense of touch is still insufficient. Inspired by the cross-modal interaction of human perception, the approach I present in this dissertation is to use multimodality to improve mediated touch interaction. Following this approach, I present three devices that provide empirical contributions to multimodal touch interaction: VisualTouch, SansTouch, and In-Flat. To understand if multimodal stimuli can improve the emotional perception of touch, I present the VisualTouch device, and quantitatively evaluate the cross-modal interaction between the visual and tactile modality. To investigate the use of different modalities in real touch communication, I present the SansTouch device, which provides empirical insights on multimodal interaction and skin-like touch generation in the context of face-to-face communication. Going one step forward in the use of multimodal stimuli in touch interaction, I present the In-Flat device, an input/output touch overlay for smartphones. In-Flat not only provides further insights on the skin-like touch generation, but also a better understanding of the role that mediated touch plays in more general contexts. In summary, this dissertation strives to bridge the gap between touch communication and HCI, by contributing to the design and understanding of multimodal stimuli in mediated touch interaction.
Comme l’un des plus importants canaux de communication non verbale, le toucher est largement utilisé à des fins différentes. Dans le développement physique et psychologique humain le toucher participe à la construction des liens sociaux et à la communication des émotions. Cependant, même si les technologies de l'information et de la communication actuels permettent l’utilisation de divers langages non verbaux, le soutien à la communication par le sens du toucher est encore insuffisant. Inspiré par les interactions intermodales dans la perception humaine, l’approche que j'adopte dans cette thèse est d’utiliser la multimodalité pour améliorer l’interaction tactile médiée. Suivant cette approche, je présente trois dispositifs qui fournissent des contributions empiriques à l’interaction tactile multimodaux : VisualTouch, SansTouch, et In-Flat. Afin de comprendre si les stimuli multimodaux peuvent améliorer la perception émotionnelle du toucher, je développe VisualTouch, et j'évalue quantitativement l’interaction entre la modalité visuelle et tactile. Pour étudier l’utilisation de différentes modalités dans la communication tactile, je présente SansTouch et fournis des aperçus empiriques sur l’interaction multimodale et la génération de contact cutané dans le contexte de la communication en face à face. Enfin, pour aller plus loin dans l’utilisation de stimuli multimodaux en interaction tactile, je présente In-Flat, une superposition tactile entrée/sortie pour smartphones. In-Flat fournit non seulement des informations supplémentaires sur la génération du toucher de la peau, mais aussi une meilleure compréhension du rôle que joue le toucher médié dans des contextes plus généraux. En résumé, cette thèse vise à combler le fossé entre la communication tactile et l’IHM, en contribuant à la conception et la compréhension des stimuli multimodaux dans l’interaction tactile médiée.
| Origine | Version validée par le jury (STAR) |
|---|