Interagir en réalité mixte avec un casque : application à la chirurgie augmentée - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Interacting in Mixed Reality with a Head-Mounted Display : Application to Augmented Surgery

Interagir en réalité mixte avec un casque : application à la chirurgie augmentée

Résumé

This thesis is in the field of Human-Computer Interaction (HCI) and specifically focuses on user interaction with Mixed Reality systems that rely on Head-Mounted Displays. Mixed Reality (MR) enables us to create mixed environments that combine virtual content with physical content. The entire workspace, including both physical and virtual objects, can then be used to interact with the system. Unlike traditional graphical interfaces, MR combines the advantages of the physical environment while providing the flexibility of virtual elements. The fields of application are many and varied, ranging from industrial manufacturing to medicine.Surgery is an application context in which MR is particularly promising. The ability to view medical data directly on the patient's body and around the operating table is a crucial benefit for surgeons. However, the existing techniques for interacting with this virtual information are not suited to the many constraints of the operating room. New approaches are needed to enable surgeons to view, manipulate and edit virtual content during an operation.Our research is driven by this need for MR interaction techniques for augmented surgery. Thanks to our partnership with the company Aesculap for this CIFRE thesis, our work is dedicated to knee prosthesis operations. We focus on the use of Head-Mounted Displays (HMDs), through which the augmented field of view is directly related to the position of the head.We start by providing a design space for MR head-based interaction. We explore this design space by devising new interaction techniques with menus. These techniques involve the entire reality-virtuality continuum by considering different physicalities for targets and implementing transitions between mixed reality and virtual reality. Our goal is to fulfill the surgery constraints by taking advantage of the objects already present in the operating room.After exploring head-based techniques, we broaden our area of research by considering surgical stages where surgeons have at least one hand available to interact with the system. Our contributions on this aspect are twofold. We first continue our study of menu techniques by considering a key aspect of the surgeon's work: visual attention to the operating field. We thus propose three new techniques allowing the surgeon to bring virtual widgets back into his field of vision without having to look away from the operating field. We then study the exploration of MR 3D scenes with multiple views. For instance, multiple views of the knee are displayed during the surgical planning step. The originality of the work lies in the different nature of the multiple views: virtual views and mixed views. We propose two new complementary interaction techniques that allow users to control the level of coupling between these different views and implement transitions between virtual reality and mixed reality.
Cette thèse s'inscrit dans le domaine de l’Interaction Homme-Machine (IHM) et est dédiéeà l’interaction en Réalité Mixte (RM) avec un casque. La RM permet de créer des environnements mixtes mêlant du contenu virtuel à du contenu physique. L'ensemble de l'espace de travail, objets physiques comme virtuels, peuvent alors servir à interagir avec le système. Contrairement aux interfaces graphiques traditionnelles, la RM combine les avantages de l'environnement physique tout en offrant la flexibilité des éléments virtuels. Les domaines d'application sont nombreux et variés, allant de la fabrication industrielle à la médecine.La chirurgie est un contexte applicatif dans lequel la RM est particulièrement prometteuse. La possibilité de visualiser des données médicales directement sur le corps du patient et autour de la table d'opération est en effet un atout crucial pour les chirurgiens. Cependant, les techniques existantes permettant d'interagir avec ces informations virtuelles ne sont pas adaptées aux nombreuses contraintes du bloc opératoire. De nouvelles approches sont nécessaires pour permettre aux chirurgiens de visualiser, manipuler et éditer du contenu virtuel pendant une opération.Notre recherche est motivée par ce besoin de techniques d'interaction en RM pour la chirurgie augmentée. Grâce à notre partenariat avec la société Aesculap pour cette thèse CIFRE, notre travail est dédié aux opérations de prothèse de genou. Nous nous concentrons sur l'utilisation de casques de RM (Head-Mounted Display), avec lesquels le champ de vision augmenté est directement lié à la position de la tête.Nous commençons par proposer un espace de conception pour l'interaction basée sur les mouvements de la tête en RM. Nous explorons cet espace de conception en concevant de nouvelles techniques d'interaction pour interagir avec des menus. Ces techniques impliquent l'ensemble du continuum réalité-virtualité en considérant différentes physicalités pour les cibles et des transitions entre la réalité mixte et la réalité virtuelle. Notre but est de respecter les contraintes du chirurgien en tirant partie des objets déjà présents en bloc opératoire.Après avoir exploré les techniques basées sur la tête, nous élargissons notre domaine de recherche en considérant les étapes chirurgicales où les chirurgiens ont au moins une main disponible pour interagir avec le système. Nos contributions sur cet aspect sont doubles. Nous poursuivons tout d'abord notre étude de l'interaction avec les menus en considérant un aspect clé du travail du chirurgien : l'attention visuelle sur le champ opératoire. Nous proposons ainsi trois nouvelles techniques permettant au chirurgien de ramener des widgets virtuels dans son champ de vision sans avoir besoin de détourner le regard du champ opératoire. Ensuite, nous étudions l'exploration de scène 3D en RM avec des vues multiples en nous inspirant de l'étape du planning chirurgical. L’originalité des travaux réside dans la nature différente des vues multiples considérées : vue virtuelle et vue mixte. Nous proposons deux nouvelles techniques d’interaction complémentaires qui permettent de contrôler le niveau de couplage entre ces vues de nature différente et implémentent des transitions entre réalité augmentée et réalité virtuelle.
Fichier principal
Vignette du fichier
BAILLY_2020_archivage.pdf (23.81 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03185064 , version 1 (30-03-2021)

Identifiants

  • HAL Id : tel-03185064 , version 1

Citer

Charles Bailly. Interagir en réalité mixte avec un casque : application à la chirurgie augmentée. Vision par ordinateur et reconnaissance de formes [cs.CV]. Université Grenoble Alpes [2020-..], 2020. Français. ⟨NNT : 2020GRALM064⟩. ⟨tel-03185064⟩
426 Consultations
80 Téléchargements

Partager

Gmail Facebook X LinkedIn More