3D Tele-Immersion based on 360° Cameras and Extended Reality Headsets
Télé-immersion 3D basée sur des caméras 360° et des casques de réalité étendue
Résumé
In contemporary professional environments, work is often dispersed across geographically distant locations. As organizing face-to-face meetings can be complex, professionals today rely on information and communication technologies to organize interactions. Tele-immersion is part of this technological trend, and aims to bring geographically separated individuals together as if they were present in the same place. This thesis proposes to develop an original tele-immersion system based on a 360° camera and extended reality headsets. The system is designed to enable users in a site of interest to bring distant users to them by simply placing a 360° camera. Thanks to extended reality, remote users are as if teleported to the place of interest. The system has been specifically developed to meet the need for new distance learning technologies, so that teachers can deliver immersive courses to students at home.The first challenge to achieve such a system is to manage the viewpoints of multiple users with a single 360° camera, while increasing the sense of copresence. In fact, as each remote user has the point of view of the camera, they are all located in the same place on the site of interest. The second challenge is to develop interactions with 360° camera data. In particular, we want to enable remote users to navigate freely around the place of interest. The problem is then to find a representation of the location capable of generating several points of view, and which can be captured with a static 360° camera.The thesis presents four contributions: a new theoretical framework for tele-immersion and three versions of tele-immersion systems based on a single static 360° camera. The first exploits only 360° images without 3D information, the second integrates 3D information into the 360° images in the form of depth maps, and the last takes advantage of a new 3D 360° representation. The latter version is evaluated with a user experience designed to illustrate that the sense of presence is greater than simply broadcasting the 360° video captured by the camera.
Dans les environnements professionnels contemporains, le travail est souvent dispersé sur différents lieux géographiquement éloignés. La réunion des collaborateurs en présentiel pouvant s'avérer complexe, les professionnels se reposent aujourd'hui sur les technologies de l'information et de la communication pour organiser les interactions. La télé-immersion s'inscrit dans cette continuité de technologies avec l'ambition de rapprocher les individus séparés géographiquement comme s'ils étaient présents dans un même lieu. Cette thèse propose de réaliser un système de télé-immersion original basé sur une caméra 360° et des casques de réalité étendue. Ce système est conçu pour que des utilisateurs dans un lieu d'intérêt puissent ramener auprès d'eux des utilisateurs distants simplement en posant une caméra 360°. Grâce à la réalité étendue, les utilisateurs distants sont comme téléportés sur le lieu d'intérêt. Le système est spécifiquement développé pour répondre au besoin de nouvelles technologies d'enseignement à distance, afin que des enseignants puissent dispenser des cours immersifs à des étudiants chez eux.Le premier verrou pour atteindre un tel système consiste à gérer le point de vue de multiples utilisateurs avec une seule caméra 360°, tout en augmentant le sentiment de coprésence. En effet, chaque utilisateur distant ayant le point de vue de la caméra, tous se retrouvent localisés au même endroit sur le lieu d'intérêt. Le second verrou est de développer des interactions avec les données de la caméra 360°. Nous souhaitons particulièrement proposer aux utilisateurs distants de naviguer librement sur le lieu d'intérêt. Le problème est alors de trouver une représentation du lieu capable de générer plusieurs points de vue et qui peut être capturée avec une caméra 360° statique.Le manuscrit présente quatre contributions : un nouveau cadre théorique de la télé-immersion et trois versions de systèmes de télé-immersion basés sur une unique caméra 360° statique. La première exploite uniquement des images 360° sans informations 3D, la seconde intègre des informations 3D aux images 360° sous forme de cartes de profondeur, et la dernière profite d'une nouvelle représentation 3D 360°. Cette dernière version est évaluée avec une expérience utilisateur visant à montrer que le sentiment de présence qu'elle suscite est plus grand qu'avec la simple diffusion de la vidéo 360° capturée par la caméra.
| Origine | Version validée par le jury (STAR) |
|---|