Simultaneous acquisition of geometry and reflectance
L'acquisition simultanée de la géométrie et de la réflectance
Résumé
This thesis focuses on the “simultaneous acquisition of geometry and reflectance”. RGB-D cameras are used in a variety of applications, including 3D scanning, robot navigation and manipulation, and so on. These cameras provide a color (RGB) image and a depth map simultaneously. The depth map indicates the distance between objects and the camera per pixel. These RGB-D cameras are available in a variety of prices; with the low-cost models intended for general public use. However, these low-cost cameras suffer from measurement errors in certain areas / under certain conditions. Therefore, the result depth map contains missing values (holes), incorrect depth measurements, and noise. These issues are most common in areas where objects are transparent, specular, too close or too far away, or too thin. In this work, we propose an approach for correcting and completing the depth of close- range specular objects. Our approach consists of several steps: First, we create a random 3D scene generator that generates synthetic images for training neural network. Second, we train neural networks using our dataset to help identifying incorrect regions in the depth map. Eventually, we complete the depth using an optimization method. We test our proposed pipeline on real-world data and demonstrate that it achieves excellent results. Obtaining an object's material properties (reflectance) from a single image is a challenging and ill-posed task. We propose an early approach simplified by an adaptation of the method we proposed previously: creation of a new scene generator to generate synthetic datasets and train neural networks. The objective is to obtain a first approximation usable by a graphic designer.
Cette thèse porte sur « l'acquisition simultanée de la géométrie et de la réflectance ». Les caméras RGB-D sont utilisées dans une variété d'applications, y compris la numérisation 3D, la navigation et la manipulation de robots, etc. Ces caméras fournissent simultanément une image couleur (RVB) et une carte de profondeur. La carte de profondeur indique la distance entre les objets et la caméra par pixel. Ces caméras RGB-D sont disponibles dans une variété de prix ; avec en particulier des modèles low-costs destinés à un usage grand public. Cependant, ces caméras présentent des défauts de mesure dans certaines zones / sous certaines conditions. Par conséquent, la carte de profondeur obtenue présente des valeurs manquantes (trous), des mesures de profondeur incorrectes et du bruit. Ces problèmes sont plus fréquents dans les zones où les objets sont transparents, spéculaires, trop proches ou trop éloignés, ou trop fins. Dans ce travail, nous proposons une approche pour corriger et compléter la carte de profondeur d’objets spéculaires proches. Notre approche se compose de différentes parties : d'abord, nous créons un générateur de scènes 3D aléatoires qui génère des images synthétiques pour l'entraînement du réseau de neurones. Deuxièmement, nous entraînons des réseaux de neurones à l'aide de nos images synthétiques pour aider à identifier les régions incorrectes dans la carte de profondeur. Finalement, nous complétons la profondeur en utilisant une méthode d'optimisation. Nous testons notre pipeline proposé sur des données du monde réel et démontrons qu'il obtient d'excellents résultats. Obtenir la réflectance d'un objet réel à partir d'une seule image est une tâche difficile. Nous proposons une première approche simplifiée par une adaptation de la méthode que nous avons proposée précédemment : création d'un nouveau générateur de scènes pour générer des ensembles de données synthétiques et entraîner des réseaux de neurones. L'objectif est d'obtenir une première approximation utilisable par un graphiste.
| Origine | Version validée par le jury (STAR) |
|---|