Towards Unsupervised And Incremental Semantic Mapping
Vers une cartographie sémantique non supervisée et incrémentale
Résumé
Robots are slowly entering our houses. But for them to perform more difficult and interesting tasks, they need to have a richer knowledge of the different objects and places present in a particular household. Building and using such a complex knowledge is called semantic mapping and navigation, which requires many different capabilities such as mapping, localization and object recognition. Most of them have been thoroughly studied in the past but often separately and in a different context. We propose a complete solution to perform incremental and unsupervised semantic mapping working on a real robot. Each aspect of the solution is discussed from the software architecture to all the functionalities needed by the robot. Some already existing techniques have been derived in the effort of integration, but more importantly three different parts of the solution are original contributions. The first one is the use of 2D laser range finder to perform object recognition using multiple views of the objects. Numerous semantic mapping solutions are using this sensor for mapping and obstacle avoidance, but we fully leveraged it by developing techniques to use it in the entire process of semantic mapping, showing that it is effective at recognizing up to 20 different objects in an indoor scenario. Secondly we introduce the graph-of-views object modeling method. In our effort to extend bag-of-views techniques to perform multi-modal modeling of objects we derived an original formulation which is more adapted to partial perception of objects. We applied this approach to object recognition using both a laser range finder and a RGB-D camera, showing that it is able to take advantage of both sensor strengths. Finally, while most existing semantic mapping techniques rely on supervised learning of objects, we present an original incremental and unsupervised learning algorithm. Our technique was applied to the learning of multi-modal models of dynamic objects that are encountered as the robot navigate an indoor environment for an extended period of time, showing that it is able to produce consistent models of these objects without human intervention.
Les robots entrent peu à peu dans nos maisons. Mais pour réaliser des tâches plus difficiles et intéressantes, ils doivent posséder une connaissance riche des différents objets et lieux présent dans une habitation particulière. Construire et utiliser une telle connaissance s'appelle la cartographie et navigation sémantique et nécessite de nombreuses capacités comme la cartographie, la localisation ou encore la reconnaissance d'objets. La plupart de celles-ci ont été longuement étudiées dans le passé mais souvent séparément et dans un contexte différent. Nous proposons une solution complète fonctionnant sur un robot capable d'effectuer progressivement et sans supervision la cartographie sémantique d'un lieu. Chaque aspect de cette solution est examiné depuis l'architecture logicielle jusqu'aux fonctionnalités requises par le robot. Certaines techniques déjà existantes ont été adaptées dans l'effort d'intégration et trois parties différentes de la solution sont des contributions originales. La première est l'utilisation de la télémétrie laser 2D pour effectuer la reconnaissance d'objets en utilisant des vues multiples des objets. De nombreuses solutions de cartographie sémantiques utilisent ce capteur pour la cartographie et l'évitement d'obstacle, mais nous en avons pleinement tiré profit en développant des techniques pour l'utiliser dans l'ensemble du processus de cartographie sémantique, montrant qu'il est efficace pour reconnaître jusqu'à 20 objets différents dans un scénario d'environnement intérieur. Deuxièmement, nous présentons une méthode de modélisation d'objets par graphes de vues. Dans notre effort pour étendre les techniques de sac-de-vues pour effectuer la modélisation multi-modale des objets, nous avons développé une formulation originale qui est plus adapté à la perception partielle des objets. Nous avons appliqué cette approche à la reconnaissance d'objets en utilisant à la fois un télémètre laser et une caméra RGB-D, montrant qu'elle est en mesure de tirer avantage des points forts des deux capteurs. Enfin, alors que la plupart des techniques sémantiques de cartographie existantes reposent sur l'apprentissage supervisé des objets, nous présentons un algorithme d'apprentissage incrémental et non supervisé original. Notre technique a été appliquée à l'apprentissage de modèles multi-modaux des objets dynamiques présents dans un environnement intérieur pour une période de temps prolongée, montrant qu'elle est capable de produire des modèles cohérents de ces objets sans intervention humaine.
Loading...