Dense 3D reconstruction of object without recoil in catadioptric vision
Reconstruction 3D dense d'objets sans recul par vision catadioptrique
Résumé
This PhD work focuses on the problem of complete dense 3D reconstruction of objects without recoil. We have conceived and developed a tridimensional reconstruction system of real objects based on a camera with two planar mirrors; baptised as a Planar Catadioptric Stereo (PCS) system. We first model the PCS system by a network of virtual cameras to perform calibration. Then, we formulate the problem of characteristic points' correspondences detected on the reflected images by using a variant of the ASIFT method. This adaptation which we behold as AMIFT on the mirror planes. Putative point correspondences are further refined with outlier rejection using our method of Symmetric RANSAC proposed in this thesis. To reconstruct a proper dense object surface, and not just a sparse projection of points, a dense correspondence technique is consequently required. This method estimates the geometric transformation linking the image object with one of it’s inter-reflections on the mirror planes by minimizing a branch and bound cost function. This allows us to adapt the 3D dense reconstruction, fundamentally based on the triangulation of image correspondences. We apply this 3D reconstruction pipeline on multiple catadioptric images in order to verify the undermining hypothesis using a PCS system. Our methodology is validated using experimental results on synthetic images to illustrate the quality of the 3D reconstruction
Ce travail de thèse s'intéresse au problème de la reconstruction 3D dense complète d'objets sans recul. Nous avons conçu et développé un système de reconstruction tridimensionnelle d'objet réel basé caméra avec deux miroirs plans: c'est un système Stéréo Catadioptrique Planaire (SCP). En premier lieu, nous modélisons le système SCP par un réseau de caméras virtuelles afin de l'étalonner. Ensuite, nous formulons la mise en correspondance des points caractéristiques détectés dans les images reflétés en utilisant une variante de la méthode ASIFT qui est adaptée aux miroirs plans et que l'on dénomme AMIFT. L'élimination des fausses correspondances est assurée par la méthode Symmetric-RANSAC proposée dans cette thèse. Pour reconstruire la surface de l'objet, et non quelques points épars, une étape de mise en correspondance dense est par la suite nécessaire. Nous proposons alors une approche de recherche de pixels correspondants intégrant la géométrie projective par le biais d'homographies locales. Cette méthode permet d'estimer la transformation géométrique qui lie l'image de l'objet à l'une de ses inter-réflexions sur les miroirs plans en minimisant une fonction de coût avec la technique d'optimisation de Branch-and-Bound. Cela nous permet d'adapter la reconstruction 3D dense, fondamentalement basée sur la triangulation de correspondances entre images. Enfin, nous appliquons ce pipeline de reconstruction 3D sur des images de réflexions multiples afin de vérifier l'hypothèse de reconstruction 3D complète à partir d'un système SCP. La performance du système proposé est validée par des expérimentations sur des images synthétiques et les résultats obtenus montrent la qualité de la reconstruction 3D
| Origine | Version validée par le jury (STAR) |
|---|