Contributions to Spatial and Temporal 3-D Reconstruction from Multiple Cameras
Contributions à la reconstruction spatiale et temporelle à partir de plusieurs caméras
Résumé
This thesis addresses the necessary steps required to build a framework for spatial and temporal 3-D reconstruction using multiple camera environments: camera calibration and sparse 3-D reconstruction, dense 3-D reconstruction, sparse and dense mesh matching. Firstly, a probabilistic formulation is developed in conjunction with any affine factorization algorithm (3-D point based reconstruction method based on matrix factorization), able to recover both the extrinsic parameters of multiple cameras and 3-D coordinates of control points, given their projected 2-D point correspondences and the intrinsic camera parameters. The proposed framework is robust to outliers and compares favourably with bundle adjustment, a standard non-linear minimization technique, which requires an initial solution not very far from the optimum. Secondly, a provably correct mesh-based surface evolution approach is proposed. It is able to handle topological changes and self-intersections without imposing any mesh sampling constraints. The exact mesh geometry is preserved throughout, except for the self-intersection areas. Sample applications, including mesh morphing and 3-D reconstruction using variational methods, are presented. Thirdly, a scene-aware camera clustering method is developed, able to break large-scale reconstruction tasks in smaller independent partial reconstructions that are memory tractable. Lastly, a new 3 dimensional descriptor is proposed, defined on uniformly sampled triangular meshes. It is invariant to rotation, translation, scale, being able to capture local geometric and photometric properties. It is particularly useful in the multi-camera environments, where the reconstructed meshes benefit from colour information. Nevertheless, the descriptor is defined generically for any feature available throughout the manifold, colour and curvatures being just some examples. Results in both rigid and non rigid matching tasks are presented. Additionally, the descriptor is integrated within a mesh tracking framework, providing dense matches.
Cette thèse propose une méthodologie pour construire un système de reconstruction spatiale et temporelle à partir de plusieurs caméras: étalonnage des caméras et reconstruction 3-D éparse, reconstruction 3-D dense, reconstruction temporelle éparse et dense. Tout d'abord, une formulation probabiliste est dévelo-ppée en association avec des algorithmes de factorisation affine (méthode de reconstruction 3-D fondée sur la factorisation matricielle). Elle permet de récupérer à la fois les paramètres extrinsèques des caméras et les coordonnées 3-D des points de contrôle, étant données les correspondances 2-D de leurs projections et les paramètres intrinsèques des caméras. Le cadre proposé est robuste au bruit et se compare favorablement avec l'ajustement de faisceaux, une méthode standard de minimisation non-linéaire, qui exige un bon estimé initial non loin de l'optimum. Deuxièmement, une méthode d'évolution de maillages est proposée. Elle est capable de gérer les changements topologiques et les auto-intersections sans imposer de contraintes d'échantillonnage sur le maillage. La géométrie exacte du maillage est préservée, à l'exception des parties qui s'auto-intersectent, que l'on retriangularise localement. Des applications sont présentées: le morphing des maillages et la reconstruction 3-D à partir de plusieurs caméras en utilisant des méthodes variationnelles. Troisièmement, une méthode de regroupement de caméras qui utilise l'information de la scène est développée, capable de séparer des reconstructions à grande échelle qui consomment beaucoup de mémoire en plusieurs petites tâches indépendantes de reconstructions partielles utilisant moins de ressources. Enfin, un nouveau descripteur en 3 dimensions est proposé, défini sur des maillages triangulaires échantillonné uniformément. Il est invariant à la rotation, la translation, l'échelle, étant en mesure de capturer les informations géométriques et photométriques locales. Il est particulièrement utile dans le cadre multi-caméras, où les maillages reconstruits bénéficient de la couleur / texture. De plus, le descripteur est défini d'une manière générique pour une fonction quelconque tout au long de la surface (i.e. la couleur, la courbure). Des résultats de correspondance rigide et non rigide sont présentés. Finalement, le descripteur est intégré dans un cadre de suivi temporel dense du maillage.
Loading...