Study of Visuo-Haptic Illusions in Virtual Reality : understanding and Predicting Illusion Detection - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Study of Visuo-Haptic Illusions in Virtual Reality : understanding and Predicting Illusion Detection

Étude des illusions visio-haptique en Réalité Virtuelle : compréhension et prédiction de la détection des illusions

Résumé

Current Virtual Reality (VR) devices, especially VR headsets, allow for realistic visual stimulation and immersion in virtual environments. This immersion can be improved by stimulating other senses, especially haptic modalities, i.e., the touch and proprioception. However, artificially mimicking real haptic stimuli is challenging. A promising and easy-to-deploy alternative is the use of visuo-haptic illusions. These illusions introduce a subtle shift between visual representations and haptic stimuli. When this shift is well controlled, the perception from the visual modality tricks the brain and modifies the haptic perception of the physical event. However, when this shift is too large, users detect the illusion, which negatively impacts presence in the virtual scene. In this thesis, I revisit visio-haptic illusions by taking as a case study the illusion called "hand redirection". This illusion moves apart the virtual hand of the user from their real one. For example, it allows the users to believe that they are interacting with physical objects at different locations, while in reality they are interacting with a single physical object at the same location. Our approach consists in considering measures, factors, and methods to study visuo-haptic illusions. First, we seek to clarify how to measure the effectiveness of an illusion because the concept of "illusion detection" is often vague, subjective, and ill-defined. However, precisely defining the detection threshold is necessary for designers to exploit these illusions in their scenarios. To this end, we describe how the main visuo-haptic illusions work in VR and define the different interpretations attached to the generic term of illusion detection. We then present common methods in Human-Computer Interaction (HCI) for measuring the detection threshold of these illusions in VR. We conclude that while these methods are useful, they do not predict users’ ability to detect other illusions. Next, we investigate factors related to visuo-haptic illusions. While previous studies mainly focus on the impact of a single factor – amplitude of the shift – on illusion detection, we propose to consider three classes of factors: task-related, system-related, and user-related factors. For task-related factors, we investigate the relationship between the amplitude of the shift, the hand trajectory, and the illusion detection. Regarding the system-related factors, we introduce the factor "redirection function", i.e., the function that controls the shift between the virtual and real hands. We then evaluate the influence of this factor on the illusion detection. Regarding the user-related factor, we hypothesize that users’ visual and proprioceptive sensory sensibilities can predict illusion detection. We present an experimental protocol and an analysis method to measure these sensibilities. Finally, we consider both empirical and theoretical methods for studying visuo-haptic illusions. We present the results of three experimental laboratory studies. We also present an empirical model that relates users’ natural tendency to perform curved trajectories to their ability to detect illusions. Finally, we present the first theoretical elements towards the development of a computational model based on the theory of sensory integration and motor control, which will allow the prediction of the illusion detection threshold, but also contribute to the design of other illusions.
Grace aux dispositifs actuels de réalité virtuelle (RV), notamment les casques de RV, les utilisateurs disposent d’un affichage visuel réaliste. Une des options pour améliorer l’immersion en RV est de stimuler d’autres modalités sensorielles, en particulier les modalités haptiques. Cependant, stimuler artificiellement ces modalités de manière réaliste avec les interfaces actuelles est un défi. Une alternative prometteuse et facile à déployer est l’utilisation d’illusions visio-haptiques. Ces illusions introduisent un décalage subtil entre les représentations visuelles et les stimuli haptiques. Lorsque ce décalage est bien contrôlé, la perception provenant de la modalité visuelle trompe le cerveau et modifie la perception haptique de l’évènement physique. Cependant, lorsque ce décalage est trop important, les utilisateurs détectent l’illusion, ce qui impacte négativement la présence dans la scène virtuelle. Dans cette thèse, je revisite les illusions visio-haptiques en prenant comme cas d’étude l’illusion appelée "redirection de la main". Cette illusion écarte la main virtuelle de la main réelle de l’utilisateur. Elle permet par exemple de laisser croire à l’utilisateur qu’il interagit avec des objets physiques aux emplacements différents, alors qu’il interagit en réalité avec un seul objet physique au même endroit. Notre approche consiste à considérer les mesures, les facteurs, et les méthodes pour étudier les illusions visio-haptiques. Tout d’abord, nous cherchons à clarifier comment mesurer l’efficacité d’une illusion car le concept de "détection d’illusion” est souvent vague, subjectif et mal défini. Or, définir précisément le seuil de détection est nécessaire aux designers pour exploiter des illusions dans leurs scenarios. Pour cela, nous décrivons comment les principales illusions visio-haptiques fonctionnent en RV et définissons les différentes interprétations attachées au terme générique de détection d’illusion. Nous présentons ensuite des méthodes courantes en Interaction Homme-Machine (IHM) pour mesurer le seuil de détection de ces illusions en RV. Nous concluons que bien que ces méthodes soient utiles, elles ne permettent pas de prédire la capacite des utilisateurs à détecter d’autres illusions. Ensuite, nous étudions les facteurs lies aux illusions visio-haptiques. Alors que les études précédentes se concentrent principalement sur l’impact d’un seul facteur - l’amplitude du décalage - sur la détection de l’illusion, nous proposons de considérer trois classes de facteurs : les facteurs liés à la tâche, au système et à l’utilisateur. En ce qui concerne les facteurs liés à la tâche, nous étudions le lien entre l’amplitude du décalage, la trajectoire des mains et la détection de l’illusion. En ce qui concerne les facteurs lies au système, nous introduisons le facteur "fonction de redirection", c’est-à-dire la fonction qui contrôle le décalage entre les mains virtuelles et les mains réelles. Nous évaluons ensuite l’influence de ce facteur sur la détection des illusions. En ce qui concerne le facteur utilisateur, nous faisons l’hypothèse que les sensibilités sensorielles visuelles et proprioceptives des utilisateurs peuvent prédire la détection d’une illusion. Nous présentons un protocole expérimental et une méthode d’analyse pour mesurer ces sensibilités. Enfin, nous considérons à la fois des méthodes empiriques et théoriques pour étudier les illusions visio haptiques. Nous présentons les résultats de trois études expérimentales en laboratoire. Nous présentons également un modèle empirique qui fait le lien entre la tendance naturelle des utilisateurs à réaliser des trajectoires courbées et leur capacité à détecter les illusions. Enfin, nous présentons les premiers éléments théoriques vers l’élaboration d’un modèle computationnel s’appuyant sur la théorie de l’intégration sensorielle et du contrôle moteur, qui permettra de prédire le seuil de détection, mais aussi contribuera à la conception d’autres illusions.
Fichier principal
Vignette du fichier
LEBRUN_Flavien_these_2022.pdf (22.84 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04088544 , version 1 (04-05-2023)

Identifiants

  • HAL Id : tel-04088544 , version 1

Citer

Flavien Lebrun. Study of Visuo-Haptic Illusions in Virtual Reality : understanding and Predicting Illusion Detection. Human-Computer Interaction [cs.HC]. Sorbonne Université, 2022. English. ⟨NNT : 2022SORUS525⟩. ⟨tel-04088544⟩
65 Consultations
46 Téléchargements

Partager

Gmail Facebook X LinkedIn More