Modèles et techniques logicielles pour l'assistance à l'interaction et à la collaboration en réalité mixte - Interactions, Réalité Augmentée, Robotique Ambiante Accéder directement au contenu
Hdr Année : 2010

Software models and techniques for assistance to interaction and collaboration in mixed reality

Modèles et techniques logicielles pour l'assistance à l'interaction et à la collaboration en réalité mixte

Résumé

This document presents a summary of my research during the last decade. All these works have one common objective: Assistance with two issues: Interaction and collaboration to use or simulate complex systems. These complex systems can be either artificial or derived from life science. Two research areas have been studied: the Mixed Reality (MR) and Computer Supported Collaborative Work (CSCW). In the field of MR, the research focused on assistance to the interaction in 3D environments. These environments can be real-augmented or virtual, using or simulating complex systems. These systems may be artificial (as in human-robot interaction based on augmented reality) or derived from life science (such as human-molecule-interaction based on virtual reality). In the field of CSCW, the research focuses on assistance to the collaboration of users. These users can be either in telework situation with artificial complex systems (the case of robots teleoperation in mixed reality) or in a work situation with common virtual environments (completely simulated by computer). In the 3D interaction context, a particular consideration has been given to the way users interactions can be helped (navigation, selection, manipulation and system control) in an effective and credible way with their environment. This idea has led us to suggest models and software techniques in order to assist 3D interaction in mixed reality. In the collaboration context, special attention is given to how we can structure, organize, manage and assist a collaborative activity. This allowed us to create formalisms and models to assist a collaborative activity (communication, coordination and production). All these researches in both areas (MR and CSCW) have encouraged the emergence of a new issue: collaborative interaction in mixed reality. Indeed, studying groupwares gives the basic concepts required in a collaboration system, whereas studying 3D interactions in mixed reality offers metaphors / techniques and sensorimotor interfaces (auditory, visual and haptic) in order to improve the feeling of immersion. This interdisciplinary study (interactions in MR & collaboration in terms of CSCW) is very interesting because of their interdependencies. Indeed, collaborating implies interacting altogether, and interacting altogether implies collaborating. Therefore, our research approach is to take advantage efficiently of the scientific and technological advances in both of the research areas. So that new models to design systems supporting collaborative interaction in mixed reality can be created.
Dans ce mémoire est présentée une synthèse d'une dizaine d'années de travaux de recherche. Tous ces travaux ont un point en commun : l'assistance et deux problématiques : l'interaction et la collaboration pour utiliser ou simuler des systèmes complexes. Ces systèmes complexes peuvent être soit artificiels (cas de la robotique/télérobotique et de télétravail collaboratif) ou bien issus du vivant (cas de la simulation en biologie moléculaire). Ma recherche a consisté à étudier à la fois deux domaines de recherche qui sont la Réalité Mixte (RM) et le Travail Collaboratif (TC). Dans le domaine de la RM, les recherches sont focalisées sur l'assistance à l'interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels, utilisant ou simulant des systèmes complexes. Ces derniers peuvent être artificiels (cas de l'interaction-homme-robot distant en réalité augmentée) ou issus du vivant (cas de l'interaction-homme-molécule en réalité virtuelle). Dans le domaine du TC, les recherches sont centrées sur l'assistance à la collaboration des utilisateurs. Ces derniers peuvent être soit en situation de télétravail avec des systèmes complexes artificiels (cas de la téléopération de robots en réalité mixte) ou encore en situation de travail dans un environnement virtuel commun (complètement simulé par ordinateur). Dans le contexte de l'assistance à l'interaction 3D, une réflexion particulière est menée sur la façon dont on peut aider l'Homme à interagir (naviguer, sélectionner, manipuler et contrôler l'application) d'une manière efficace et crédible avec son environnement. Cette réflexion nous a conduits à proposer des modèles et des techniques logicielles pour l'assistance à l'interaction 3D en réalité mixte. Dans le contexte de l'assistance à la collaboration, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et assister une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d'assister une activité de collaboration (communication, coordination et production). Ces recherches menées conjointement dans chacun des deux domaines ont favorisé l'émergence des fondements de l'interaction collaborative en réalité mixte. En effet, l'étude des collecticiels (logiciels de collaboration sous l'angle du travail collaboratif) fournit les concepts de base que doit respecter un système de collaboration. Alors que l'étude des interactions en réalité mixte propose quant à elle des métaphores/techniques d'interaction 3D et des interfaces sensorimotrices (auditive, visuelle et haptique) dans le but d'améliorer le sentiment d'immersion des utilisateurs. Ce couplage de concepts interdisciplinaires (interaction en RM & collaboration du point de vue du TC) est très intéressant du fait de leurs interdépendances. En effet, pour collaborer, on a besoin d'interagir et pour interagir ensemble on a besoin de collaborer. Notre démarche de recherche propose donc de tirer partie de la manière la plus efficace possible des avancées scientifiques et technologiques issues des deux domaines de recherche afin de proposer des modèles permettant la conception de nouveaux systèmes d'assistance à l'interaction collaborative en réalité mixte.
Fichier principal
Vignette du fichier
Otmane_rapport_HDR_2010.pdf (16.77 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00621248 , version 1 (09-09-2011)

Identifiants

  • HAL Id : tel-00621248 , version 1

Citer

Samir Otmane. Modèles et techniques logicielles pour l'assistance à l'interaction et à la collaboration en réalité mixte. Interface homme-machine [cs.HC]. Université d'Evry-Val d'Essonne, 2010. ⟨tel-00621248⟩
405 Consultations
1298 Téléchargements

Partager

Gmail Facebook X LinkedIn More