At the limits of kinaesthesia : Multisensory integration of visual, proprioceptive and auditory signals
Aux limites de la kinesthésie : intégration multisensorielle de signaux visuels, proprioceptifs et sonores
Résumé
Kinaesthesia is the conscious perception of the movements of different parts of one's own body in space. It results from the integration of multiple sensory signals such as visual, proprioceptive, or tactile signals. Multisensory integration would depend on three congruencies : temporal, spatial and semantic congruencies. For the integration to be optimal, the different sensory signals should occur at the same time, at the same place and be semantically associated. The main objective of this work was to study the sensory integration mechanisms involved in kinaesthesia using artificial signals. To this end, we investigated the extent to which artificial sensory signals could take part in kinaesthesia depending on their degree of congruency with natural signals, thus generating situations that could not be produced with natural signals alone.We adapted the mirror paradigm to virtual reality, substituting the natural visual signals (i.e., the arm reflection in the mirror) with artificial signals (i.e., avatar’s arms). This implementation of the mirror paradigm in virtual reality allowed us to manipulate different degrees of semantic incongruency (morphological dissimilarity between avatar and real body) or spatial incongruency (perspective from which the avatar is seen) between visual stimuli coming from the avatar and non-visual stimuli (especially proprioceptive) coming from the participant's body. Overall, our results showed that semantic or spatial incongruencies did not prevent the contribution (and thus the integration) of visual information from the avatar to the kinaesthetic percept, even when the level of incongruency was high (e.g., avatar's arms represented by three dots; third-person perspective). However, this contribution was reduced as the level of incongruency increased, with visual information having less weight in the kinaesthetic (multisensory) percept as incongruency increased (Articles 1-3).In this work we also explored the hypothesis that only visual signals coming from the participant's own body or from any embodied object could be considered for kinaesthetic purposes. This hypothesis is partially validated by a cross-sectional analysis of the results of the five experiments in Articles 2, 3, and 4, showing a positive relationship between the level of embodiment of the avatar and the intensity of kinaesthetic illusions as assessed by subjective measures of speed and duration of illusions. However, the dedicated study (Article 4), aimed at experimentally manipulating the level of avatar embodiment, did not provide evidence for such a link.Finally, we also tested whether an auditory stimulus generated by sonification of movements could contribute to kinaesthesia, in the absence of vision. In this study (Article 5), auditory information previously associated with movements was not effective in generating illusions of movement.Overall, the results obtained demonstrated the contribution of artificial visual stimuli to kinaesthesia. Moreover, they indicate that this contribution varies according to the degree of semantic and spatial congruency between artificial and natural stimuli.
La kinesthésie est la perception consciente des mouvements des différentes parties de son propre corps dans l’espace. Elle résulte de l’intégration de multiples signaux sensoriels tels que les signaux visuels, proprioceptifs ou tactiles. L’intégration multisensorielle dépendrait de trois types de congruence : les congruences temporelle, spatiale et sémantique. Pour que l’intégration soit optimale, les différents signaux sensoriels devraient survenir en même temps, au même endroit et être associés sémantiquement. L’objectif principal de cette thèse visait à étudier les mécanismes d’intégration sensorielle en jeu dans la kinesthésie en utilisant des signaux artificiels. Pour cela, nous avons étudié la mesure dans laquelle des signaux sensoriels artificiels pouvaient prendre part à la kinesthésie en fonction de leur degré d’incongruence avec les signaux naturels, générant ainsi des situations ne pouvant être obtenues avec des signaux naturels.Nous avons adapté le paradigme miroir à la réalité virtuelle, remplaçant les signaux visuels naturels (i.e., le reflet du bras dans le miroir) par des signaux artificiels (i.e., les bras d’un avatar). Cette implémentation du paradigme miroir en réalité virtuelle nous a permis de manipuler différents degrés d’incongruence sémantique (dissimilarité morphologique entre avatar et corps réel) ou spatiale (perspective dans laquelle est vu l’avatar) entre stimuli visuels provenant de l’avatar et stimuli non visuels (notamment proprioceptifs) provenant du corps du participant. Dans leur ensemble, nos résultats ont fait apparaitre que l’incongruence sémantique ou spatiale n’empêchait pas la contribution (et donc l’intégration) au percept kinesthésique des informations visuelles provenant de l’avatar, même lorsque le niveau d’incongruence était important (e.g., bras de l’avatar représentés par trois points ; perspective à la troisième personne). Cependant, cette contribution se réduisait quand le niveau d’incongruence augmentait, l’information visuelle ayant donc d’autant moins de poids dans le percept kinesthésique (multisensoriel) que l’incongruence augmente (Articles 1-3 ).Dans ce travail nous avons également exploré l’hypothèse selon laquelle seuls des signaux visuels issus du corps même du participant ou de tout objet incarné, pouvaient être pris en compte à des fins kinesthésiques. Cette hypothèse est partiellement validée par une analyse transversale des résultats des cinq expériences des Articles 2, 3 et 4, faisant apparaitre un lien positif entre le niveau d’incarnation de l’avatar et l’intensité des illusions kinesthésiques telle qu’évaluée par des mesures subjectives de vitesse et de durée des illusions. Toutefois, l'étude dédiée (Article 4), visant à manipuler expérimentalement le niveau d’incarnation d’un avatar, n’a pas permis d’apporter la preuve d’un tel lien.Enfin, nous avons aussi testé si un stimulus auditif généré par sonification des mouvements pouvait contribuer à la kinesthésie, en l’absence de vision. Dans cette étude (Article 5), les informations auditives préalablement associées aux mouvements n’ont pas été efficaces pour générer des illusions de mouvement.Dans leur ensemble, les résultats obtenus ont mis en évidence la contribution de stimuli visuels artificiels à la kinesthésie. De plus, ils indiquent que cette contribution varie en fonction du degré de congruence sémantique et spatiale entre les stimuli artificiels et les stimuli naturels.
| Origine | Version validée par le jury (STAR) |
|---|