Towards geometric and semantic change detection for mixed reality experiences
Vers une détection des changements géométriques et sémantiques pour des expériences de réalité mixte
Résumé
Photorealistic Augmented Reality (AR) –or “Mixed Reality”– is applicable to various immersive experiences, from entertainment to simulation-based training, and for previsualization tasks. The realistic integration of virtual elements requires an accurate and up-to-date model of the real scene's geometry and semantic contents. The 3D structure of the environment impacts the visual rendering as well as the spatial layout of the virtual content and its interactions with real objects. Given the hardware constraints of widely available AR devices, it is impractical to thoroughly scan the geometry of the scene with each use. Still, some the scene's structural information will remain constant over time only requiring local updates to accurately represent the scene's current state. The aim of this doctoral study has been to provide the means to identify and correct areas of change in a scene through detection of inconsistencies between a prior representation and an current observations. In this thesis, we present the completion of a lightweight reprojection-based geometric change detection framework. We also present the elaboration of a graph-based semantic scene model for Mixed Reality, and a method for its generation from semantic analysis. This model will then be used in a 3D scene registration system, in order to test its applicability to the localization task in AR.
La Réalité Augmentée (RA) photoréaliste (« Réalité Mixte ») est utile pour diverses applications immersives, du divertissement visuel à la formation par simulation, et pour la prévisualisation d'aspect. L'intégration réaliste d’éléments virtuels dans une scène nécessite un modèle à jour de sa géométrie et son contenu sémantique. La structure 3D d’un environnement impacte le rendu visuel ainsi que l'organisation spatiale du contenu virtuel et ses interactions avec le réel. En raison des limitations matérielles des appareils RA grand public, faire un scan géométrique exhaustif de la scène à chaque utilisation est irréaliste. Néanmoins, une partie de l'information structurelle dans la scène reste inchangée et ne requiert que des mises à jour locales pour rester fidèle au réel. Cette thèse a pour objectif de donner les moyens d'identifier et corriger les régions changeantes d'une scène en détectant les différences entre une représentation antérieure et des observations courantes. Nous présenterons un nouveau système de détection de changements géométrique léger, utilisant une méthode de reprojection d'images. Nous présenterons également l'élaboration d'un modèle sémantique de scène pour la Réalité Mixte à base de graphes, ainsi qu'une méthode de génération de ce modèle par analyse sémantique. Ce même modèle sera alors exploité dans un système d'alignement de scènes 3D, pour évaluer son applicabilité à la localisation en RA.
Origine | Version validée par le jury (STAR) |
---|