The Usage of Quadtree in Deep Neural Networks to Represent Data For Navigation From a Monocular Camera
L'utilisation de Quadtree dans les Réseaux de Neurones Profonds pour Représenter les Données pour la Navigation à partir d'une Caméra Monoculaire
Résumé
Depth acquisition represents a key element for navigation tasks. It is, therefore, one of the major research topics in computer vision. Many approaches have been developed to address this problem by constructing the depth from series of images. However, there is a minimal case proposing a prediction from a single image, made possible with the emergence of deep learning approaches. The latter makes it possible to consider a reduction in both hardware and computing time costs, which is beneficial for embedded systems. However, network architecture remains a heavy process requiring a lot of GPU memory. Few approaches have proposed addressing this problem by developing lightweight architectures, allowing real-time execution. We propose to investigate this problem from another angle, consisting in carefully selecting the operations to execute rather than lightening the architecture. It is based on the Quadtree Generating Networks framework which takes advantage of sparse convolutions to only operate necessary operations to generate the quadtree, thus reducing the computational cost. This method, initially developed for semantic segmentation, will be applied in this study to data acquisition problems for navigation. Namely, the image segmentation for obstacle avoidance and the generation of compressed depth maps into quadtree. It will be demonstrated, through a series of experiments, that the quadtree compression allows a significant reduction of the memory requirement with a limited loss of accuracy. The level of compression of the prediction is fully adjustable for the depth estimation, making it adaptable to all situations.
L'acquisition de la profondeur représente un élément clé pour les tâches de navigation. Il fait donc partie des principaux sujets de recherche en vision par ordinateur. De nombreuses approches ont été développées pour répondre à ce problème en construisant la profondeur à partir d'une série d'images. Toutefois, il existe un cas minimal proposant une prédiction à partir d'une seule image, rendu possible avec l'émergence des approches d'apprentissage profond. Ces dernières permettent ainsi d'envisager une réduction des coûts en matériel et en temps de calcul, ce qui est bénéfique pour les systèmes embarqués. Cependant, l'architecture du réseau reste un processus lourd nécessitant beaucoup de mémoire du GPU. Certaines approches ont proposé de résoudre ce problème en développant des architectures légères, permettant une exécution en temps réel. Nous proposons ici d'étudier ce problème sous un autre angle, consistant à sélectionner soigneusement les opérations à exécuter plutôt que d'alléger l'architecture. Nos travaux s'appuient sur les réseaux générateurs de quadtree qui tirent parti des convolutions éparses pour n'effectuer que les opérations nécessaires à la génération du quadtree, réduisant ainsi le coût de calcul. Cette méthode, initialement développée pour la segmentation sémantique, sera appliquée dans cette étude aux problèmes d'acquisition de données pour la navigation. À savoir, la segmentation d'images pour l'évitement d'obstacles et la génération de cartes de profondeur compressées en quadtree. Il sera démontré, à travers une série d'expériences, que la compression en quadtree permet une réduction significative du besoin en mémoire avec une perte limitée de précision. Le niveau de compression de la prédiction est entièrement réglable pour l'estimation de la profondeur, ce qui la rend adaptable à toutes les situations.
| Origine | Version validée par le jury (STAR) |
|---|