3D urban scenes modeling from very high resolution satellital images
Modélisation 3D de scènes urbaines à partir d'images satellitaires à très haute résolution
Résumé
This research work is a part of a global project related to urban scene modeling from high resolution satellite images with focus on building reconstruction. This work has been carried out as a collaboration among the IGN (French National Geographical Institute), the CNES (The French National Space Center) and the University of Paris 5.
The input data consist of a panchromatic stereo pair of satellite images, with a submetric resolution of 50-70 cm and a low Base to Height ratio B/H [0.05 - 0.2].
Since a detailed extraction and description of building rooves is complex in a satellital context, we propose to describe the scene by means of a 3D surface which provides either raster or vector information and thus different description levels.
A "Hypothesis-and-verify" strategy is used. 3D-primitives are extracted from images. Two complementary approaches are proposed which are based on 3D-segments for the first one and on region matching for 3D-facets estimation.
The originality of our approach is a global matching of multiscale segmentations which provides reliable 3D-facets.
Primitives validation is done by means of a 3D-surface modeling process. 3D-surface computation can be formulated as an energy minimization process based graph cuts.
3D hybrid graph is constructed on raw correlation information and extracted primitives. Minimal capcity cut will provid the 3D surface model.
The main contribution of our approach is the use of 3D-primitives such as 3D-segments and 3D-facets as well as the introduction of information from external database such asroad database or cadastral maps, to guide the optimization process. We propose an improvement over the graph cut method for stereo computation. The main idea is that to insert depth constraints based know 3D primitives. Then the graph cut problem is reformulated to enable better discontinuity computation and surface regularization.
The obtained product is an hybrid DEM (Digital Elevation Model) which provides the highest level of reliable primitives for each scene region.
Keywords: satellital images, stereoscopy, 3D-surface modeling, 3D-primitives, multiscales region matching, graph cuts optimization, Photogrammetry, Digital Elevation Model.
The input data consist of a panchromatic stereo pair of satellite images, with a submetric resolution of 50-70 cm and a low Base to Height ratio B/H [0.05 - 0.2].
Since a detailed extraction and description of building rooves is complex in a satellital context, we propose to describe the scene by means of a 3D surface which provides either raster or vector information and thus different description levels.
A "Hypothesis-and-verify" strategy is used. 3D-primitives are extracted from images. Two complementary approaches are proposed which are based on 3D-segments for the first one and on region matching for 3D-facets estimation.
The originality of our approach is a global matching of multiscale segmentations which provides reliable 3D-facets.
Primitives validation is done by means of a 3D-surface modeling process. 3D-surface computation can be formulated as an energy minimization process based graph cuts.
3D hybrid graph is constructed on raw correlation information and extracted primitives. Minimal capcity cut will provid the 3D surface model.
The main contribution of our approach is the use of 3D-primitives such as 3D-segments and 3D-facets as well as the introduction of information from external database such asroad database or cadastral maps, to guide the optimization process. We propose an improvement over the graph cut method for stereo computation. The main idea is that to insert depth constraints based know 3D primitives. Then the graph cut problem is reformulated to enable better discontinuity computation and surface regularization.
The obtained product is an hybrid DEM (Digital Elevation Model) which provides the highest level of reliable primitives for each scene region.
Keywords: satellital images, stereoscopy, 3D-surface modeling, 3D-primitives, multiscales region matching, graph cuts optimization, Photogrammetry, Digital Elevation Model.
Ce travail s'insère dans un projet global de modélisation de scènes urbaines à partir d'images satellitaires très haute résolution. Le projet a été proposé dans le cadre d'une collaboration entre l'IGN et le CNES et l'université de Paris 5. L'objectif final du projet sera de fournir un système automatique permettant de classifier la scène en deux thèmes ; bâti et routes et de reconstruire les bâtiments en 3D. Dans le cadre de cette thèse, on s'intéresse uniquement à la modélisation des bâtiments.
On dispose en entrée de couples stéréoscopiques panchromatiques à [50-70 cm] de résolution et de faible rapport Base sur Hauteur B/H [0.05-0.2]. On exclut la multiscopie.
Étant donnée la complexité d'une extraction fine et détaillée des toits en contexte satellitaire, on propose de modéliser la scène urbaine par une surface 3D hybride fournissant différents niveaux de description en fonction de la fiabilité des primitives extraites : points 3D, segments 3D et surfaces planes.
Une stratégie mixte a été adoptée. Tout d'abord, une stratégie ascendante basée sur les images permet d'extraire les primitives 3D (segments 3D et facettes 3D). Deux stratégies complémentaires d'extractions de primitives seront détaillées. Une description multi-échelles est utilisée pour la segmentation des images. Notre apport consiste essentiellement dans l'appariement global de deux segmentations multi-échelles du couple stéréoscopique.
L'ensemble des primitives sera validé par une approche descendante et permettra de contraindre la modélisation de la surface 3D.
Le problème de modélisation de surface 3D peut être formulé comme un problème de minimisation d'énergie. Il sera résolu par optimisation à base de flots de graphes, contrainte par les primitives 3D. Le graphe 3D hybride sera construit à partir d'un volume de corrélation sur la scène 3D et des primitives 3D extraites. La surface finale est obtenue par recherche de la coupe de capacité minimale dans ce graphe 3D.
La majeure contribution de notre approche consiste à utiliser des primitives 3D extraites et des données externes telles que le réseau routier ou les plans cadastraux pour contraindre le problème d'optimisation et modéliser de manière explicite les occultations et les discontinuités.
Le produit final, sera un Modèle Numérique d'Élévation hybride « raster/vecteur », permettant d'exploiter à chaque endroit de la scène, les primitives du niveau le plus élevé que l'on a pu reconstruire de manière fiable.
Mots-clés : images satellitaires haute résolution, stéréoscopie, Modèle Numérique d'Élévation, primitives 3D, mise en correspondance de régions, appariement multi-échelles, optimisation à base de flots de graphes.
On dispose en entrée de couples stéréoscopiques panchromatiques à [50-70 cm] de résolution et de faible rapport Base sur Hauteur B/H [0.05-0.2]. On exclut la multiscopie.
Étant donnée la complexité d'une extraction fine et détaillée des toits en contexte satellitaire, on propose de modéliser la scène urbaine par une surface 3D hybride fournissant différents niveaux de description en fonction de la fiabilité des primitives extraites : points 3D, segments 3D et surfaces planes.
Une stratégie mixte a été adoptée. Tout d'abord, une stratégie ascendante basée sur les images permet d'extraire les primitives 3D (segments 3D et facettes 3D). Deux stratégies complémentaires d'extractions de primitives seront détaillées. Une description multi-échelles est utilisée pour la segmentation des images. Notre apport consiste essentiellement dans l'appariement global de deux segmentations multi-échelles du couple stéréoscopique.
L'ensemble des primitives sera validé par une approche descendante et permettra de contraindre la modélisation de la surface 3D.
Le problème de modélisation de surface 3D peut être formulé comme un problème de minimisation d'énergie. Il sera résolu par optimisation à base de flots de graphes, contrainte par les primitives 3D. Le graphe 3D hybride sera construit à partir d'un volume de corrélation sur la scène 3D et des primitives 3D extraites. La surface finale est obtenue par recherche de la coupe de capacité minimale dans ce graphe 3D.
La majeure contribution de notre approche consiste à utiliser des primitives 3D extraites et des données externes telles que le réseau routier ou les plans cadastraux pour contraindre le problème d'optimisation et modéliser de manière explicite les occultations et les discontinuités.
Le produit final, sera un Modèle Numérique d'Élévation hybride « raster/vecteur », permettant d'exploiter à chaque endroit de la scène, les primitives du niveau le plus élevé que l'on a pu reconstruire de manière fiable.
Mots-clés : images satellitaires haute résolution, stéréoscopie, Modèle Numérique d'Élévation, primitives 3D, mise en correspondance de régions, appariement multi-échelles, optimisation à base de flots de graphes.
Fichier principal
these_chehata.pdf (6.15 Mo)
Télécharger le fichier
soutenance_online.ppt (3.81 Mo)
Télécharger le fichier
| Format | Autre |
|---|