Augmented reality environments for the interactive exploration of 3D data - Archive ouverte HAL Access content directly
Theses Year : 2020

Augmented reality environments for the interactive exploration of 3D data

Environnements de réalité augmentée pour l'exploration interactive de données 3D

(1, 2)
1
2

Abstract

Exploratory visualization of 3D data is fundamental in many scientific domains. Traditionally, experts use a PC workstation and rely on mouse and keyboard to interactively adjust the view to observe the data. This setup provides immersion through interaction---users can precisely control the view and the parameters, but it does not provide any depth clues which can limit the comprehension of large and complex 3D data. Virtual or augmented reality (V/AR) setups, in contrast, provide visual immersion with stereoscopic views. Although their benefits have been proven, several limitations restrict their application to existing workflows, including high setup/maintenance needs, difficulties of precise control, and, more importantly, the separation from traditional analysis tools. To benefit from both sides, we thus investigated a hybrid setting combining an AR environment with a traditional PC to provide both interactive and visual immersions for 3D data exploration. We closely collaborated with particle physicists to understand their general working process and visualization requirements to motivate our design. First, building on our observations and discussions with physicists, we built up a prototype that supports fundamental tasks for exploring their datasets. This prototype treated the AR space as an extension to the PC screen and allowed users to freely interact with each using the mouse. Thus, experts could benefit from the visual immersion while using analysis tools on the PC. An observational study with 7 physicists in CERN validated the feasibility of such a hybrid setting, and confirmed the benefits. We also found that the large canvas of the AR and walking around to observe the data in AR had a great potential for data exploration. However, the design of mouse interaction in AR and the use of PC widgets in AR needed improvements. Second, based on the results of the first study, we decided against intensively using flat widgets in AR. But we wondered if using the mouse for navigating in AR is problematic compared to high degrees of freedom (DOFs) input, and then attempted to investigate if the match or mismatch of dimensionality between input and output devices play an important role in users’ performance. Results of user studies (that compared the performance of using mouse, space mouse, and tangible tablet paired with the screen or the AR space) did not show that the (mis-)match was important. We thus concluded that the dimensionality was not a critical point to consider, which suggested that users are free to choose any input that is suitable for a specific task. Moreover, our results suggested that the mouse was still an efficient tool compared to high DOFs input. We can therefore validate our design of keeping the mouse as the primary input for the hybrid setting, while other modalities should only serve as an addition for specific use cases. Next, to support the interaction and to keep the background information while users are walking around to observe the data in AR, we proposed to add a mobile device. We introduced a novel approach that augments tactile interaction with pressure sensing for 3D object manipulation/view navigation. Results showed that this method could efficiently improve the accuracy, with limited influence on completion time. We thus believe that it is useful for visualization purposes where a high accuracy is usually demanded. Finally, we summed up in this thesis all the findings we have and came up with an envisioned setup for a realistic data exploration scenario that makes use of a PC workstation, an AR headset, and a mobile device. The work presented in this thesis shows the potential of combining a PC workstation with AR environments to improve the process of 3D data exploration and confirms its feasibility, all of which will hopefully inspire future designs that seamlessly bring immersive visualization to existing scientific workflows.
La visualisation exploratoire des données 3D est fondamentale dans des domaines scientifiques. Traditionnellement, les experts utilisent un PC et s'appuient sur la souris pour ajuster la vue. Cette configuration permet l'immersion par interaction---l'utilisateur peut contrôler précisément la vue, mais elle ne fournit pas de profondeur, qui limite la compréhension de données complexes. La réalité virtuelle ou augmentée (RV/A), en revanche, offre une immersion visuelle avec des vues stéréoscopiques. Bien que leurs avantages aient été prouvés, plusieurs points limitent leur application, notamment les besoins élevés de configuration/maintenance, les difficultés de contrôle précis et, plus important, la séparation des outils d'analyse traditionnels. Pour bénéficier des deux côtés, nous avons donc étudié un système hybride combinant l'environnement RA avec un PC pour fournir des immersions interactives et visuelles. Nous avons collaboré étroitement avec des physiciens des particules afin de comprendre leur processus de travail et leurs besoins de visualisation pour motiver notre conception. D'abord, basé sur nos discussions avec les physiciens, nous avons construit un prototype qui permet d'accomplir des tâches pour l'exploration de leurs données. Ce prototype traitait l'espace RA comme une extension de l'écran du PC et permettait aux utilisateurs d'interagir librement avec chacun d'eux avec la souris. Ainsi, les experts pouvaient bénéficier de l'immersion visuelle et utilisent les outils d'analyse sur PC. Une étude observationnelle menée avec 7 physiciens au CERN a validé la faisabilité et confirmé les avantages. Nous avons également constaté que la grande toile du RA et le fait de se déplacer pour observer les données dans le RA présentaient un grand potentiel. Cependant, la conception de l'interaction de la souris et l’utilisation de widgets dans la RA devaient être améliorés. Ensuite, nous avons décidé de ne pas utiliser intensivement les widgets plats dans la RA. Mais nous nous sommes demandé si l'utilisation de la souris pour naviguer dans la RA est problématique, et nous avons ensuite tenté d'étudier si la correspondance de la dimensionnalité entre les dispositifs d'entrée et de sortie joue un rôle important. Les résultats des études (qui ont comparé la performance de l'utilisation de la souris, de la souris spatiale et de la tablette tangible couplée à l'écran ou à l'espace de RA) n'ont pas montré que la correspondance était importante. Nous avons donc conclu que la dimensionnalité n'était pas un point critique à considérer, ce qui suggère que les utilisateurs sont libres de choisir toute entrée qui convient à une tâche spécifique. De plus, nos résultats ont montré que la souris restait un outil efficace. Nous pouvons donc valider notre conception et conserver la souris comme entrée principale, tandis que les autres modalités ne devraient servir que comme complément pour des cas spécifiques. Ensuite, pour favoriser l'interaction et conserver les informations pendant que les utilisateurs se déplacent en RA, nous avons proposé d'ajouter un appareil mobile. Nous avons introduit une nouvelle approche qui augmente l'interaction tactile avec la détection de pression pour la navigation 3D. Les résultats ont montré que cette méthode pouvait améliorer efficacement la précision, avec une influence limitée sur le temps. Nous pensons donc qu'elle est utile à des tâches de vis où une précision est exigée. Enfin, nous avons résumé tous les résultats obtenus et imaginé un scénario réaliste qui utilise un poste de travail PC, un casque RA et un appareil mobile. Les travaux présentés dans cette thèse montrent le potentiel de la combinaison d'un PC avec des environnements de RA pour améliorer le processus d'exploration de données 3D et confirment sa faisabilité, ce qui, nous l'espérons, inspirera la future conception qui apportera une visualisation immersive aux flux de travail scientifiques existants.
Fichier principal
Vignette du fichier
94693_WANG_2020_archivage.pdf (65.52 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03170289 , version 1 (16-03-2021)

Identifiers

  • HAL Id : tel-03170289 , version 1

Cite

Xiyao Wang. Augmented reality environments for the interactive exploration of 3D data. Human-Computer Interaction [cs.HC]. Université Paris-Saclay, 2020. English. ⟨NNT : 2020UPASG052⟩. ⟨tel-03170289⟩
252 View
24 Download

Share

Gmail Facebook Twitter LinkedIn More