Thèse Année : 2026

High-quality photorealistic rendering of objects of interest in complex scenes represented by NeRF or 3DGS : towards immersive and interactive extended reality applications

Rendu photoréaliste de haute qualité d'objets d'intérêt dans des scènes complexes représentées par NeRF ou 3DGS : vers des applications immersives et interactives de réalité étendue

Résumé

This Ph.D. work addresses the problem of high-quality 3D scene reconstruction and rendering for immersive and interactive applications, with a particular focus on specific objects or Regions Of Interest (ROIs) within complex real-world environments. The overarching objective is therefore to move beyond modeling a scene as a monolithic global representation that provides only one level of detail (LOD) uniformly across the scene to the highlighting of salient contents and objects of interest within the scene, enabling localized quality enhancement while preserving global coherence and consistency. Another major goal is to design approaches that support efficient, realistic rendering and real-time interaction, which are essential for immersive applications. This research is structured around three major scientific milestones. First, the thesis investigates the Neural Radiance Fields (NeRFs) technique. Existing NeRF-based methods often struggle to achieve higher local detail without incurring excessive computational time or memory requirements for the entire scene, especially in large or visually complex scenes. To address this, ROI-NeRFs is introduced, a framework in which the scene is decomposed into a global model and multiple ROI-centric local models. Fundamental techniques are developed, including object-focused camera selection based on structure-from-motion visibility, region-aware training strategies, and ray-level compositional rendering. These techniques allow high-resolution reconstruction of selected objects while maintaining a manageable computational cost. Second, the proposed scene decomposition–recomposition paradigm is extended to explicit scene representations through 3D Gaussian Splatting (3DGS), enabling real-time rendering. An object-aware Gaussian Splat pipeline, termed ROI-GS, is designed to combine scene-level and object-level Gaussian Splat models through efficient initialization, adaptive densification, pruning, and compositional rendering. By leveraging the speed and stability of 3DGS representations, this approach is well-suited to interactive and performance-critical scenarios and also improves local visual fidelity. Finally, the previous 3DGS-based method is integrated into an immersive and interactive extended reality (XR) application, referred to as XROI-GS. The object-centric Gaussian representations are connected to real-time rendering engines and physics-based interaction framework XDE Physics, enabling user interaction, manipulation, and exploration of reconstructed scenes within XR environments. This integration demonstrates the practical applicability of the proposed technique beyond offline rendering and validates their relevance for industrial and cultural heritage immersive experiences. The thesis includes an extensive review of related work, detailed descriptions of real-world datasets—most notably the Hôtel de la Marine, a complex eighteenth-century cultural heritage site—and comprehensive performance evaluations. The work finally addresses methodological limitations and outlines perspectives for future research.

Ce travail aborde le problème de la reconstruction et du rendu de scènes 3D de haute qualité pour des applications immersives et interactives, en mettant particulièrement l'accent sur des objets spécifiques ou des régions d'intérêt (ROIs) dans des environnements réels complexes. L'objectif général est donc de dépasser la modélisation d'une scène comme une représentation globale monolithique qui ne fournit qu'un seul niveau de détail (LOD) uniforme à travers la scène, pour mettre en évidence les contenus saillants et les objets d'intérêt au sein de la scène, permettant ainsi une amélioration localisée de la qualité tout en préservant la cohérence et l'uniformité globales. Un autre objectif majeur est de concevoir des approches qui prennent en charge un rendu efficace et réaliste ainsi qu'une interaction en temps réel, essentiels pour les applications immersives. Cette recherche s'articule autour de trois grandes étapes scientifiques. Tout d'abord, la thèse examine la technique des champs de radiance neuronaux (NeRF). Les méthodes existantes basées sur les NeRF ont souvent du mal à obtenir des détails locaux plus précis sans nécessiter un temps de calcul ou une mémoire excessifs pour l'ensemble de la scène, en particulier dans les scènes de grande taille ou visuellement complexes. Pour remédier à cela, les ROI-NeRF sont introduits, un cadre dans lequel la scène est décomposée en un modèle global et plusieurs modèles locaux centrés sur les ROI. Des techniques fondamentales sont développées, notamment la sélection de caméras axées sur les objets en fonction de la visibilité de la structure à partir du mouvement, des stratégies d'entraînement tenant compte des régions et le rendu par composition au niveau des rayons. Ces techniques permettent une reconstruction haute résolution des objets sélectionnés tout en maintenant un coût de calcul raisonnable. Deuxièmement, le paradigme proposé de décomposition-recomposition de scène est étendu à des représentations explicites de scène grâce au 3D Gaussian Splatting (3DGS), qui permet un rendu en temps réel. Un pipeline basé sur 3DGS et isolant des objets, appelé ROI-GS, est conçu pour combiner des modèles Gaussian Splat au niveau de la scène et au niveau des objets grâce à une initialisation efficace, une densification adaptative, un élagage et un rendu par composition. En tirant parti de la vitesse et de la stabilité des représentations 3DGS, cette approche est bien adaptée aux scénarios interactifs et critiques en termes de performances et améliore également la fidélité visuelle locale. Enfin, la méthode précédente basée sur le 3DGS est intégrée dans une application immersive et interactive de réalité étendue (XR), appelée XROI-GS. Les représentations gaussiennes centrées sur les objets sont connectées à des moteurs de rendu en temps réel et au cadre d'interaction basé sur la physique XDE Physics, permettant à l'utilisateur d'interagir, de manipuler et d'explorer des scènes reconstruites dans des environnements XR. Cette intégration démontre l'applicabilité pratique de la technique proposée au-delà du rendu hors ligne et valide sa pertinence pour les expériences immersives dans les domaines industriel et du patrimoine culturel. La thèse comprend une revue exhaustive des travaux connexes, des descriptions détaillées d'ensembles de données du monde réel, notamment l'Hôtel de la Marine, un site patrimonial complexe du dix-huitième siècle, et des évaluations complètes des performances. Le travail aborde enfin les limites méthodologiques et esquisse les perspectives pour les recherches futures.

Fichier principal
Vignette du fichier
BUI_Quoc_Anh.pdf (27.27 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-05621538 , version 1 (13-05-2026)

Licence

Identifiants

  • HAL Id : tel-05621538 , version 1

Citer

Quoc-Anh Bui. High-quality photorealistic rendering of objects of interest in complex scenes represented by NeRF or 3DGS : towards immersive and interactive extended reality applications. Computer science. Université de Toulouse, 2026. English. ⟨NNT : 2026UTLSP029⟩. ⟨tel-05621538⟩
0 Consultations
0 Téléchargements

Partager

  • More