Fusion Caméra-LiDAR à l’aide de réseaux de neurones artificiels pour la détection d’obstacles à bord de véhicules autonomes - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Camera-LiDAR fusion with artificial neural networks for object detection on autonomous vehicles

Fusion Caméra-LiDAR à l’aide de réseaux de neurones artificiels pour la détection d’obstacles à bord de véhicules autonomes

Ruddy Théodose
  • Fonction : Auteur
  • PersonId : 1143561
  • IdRef : 263044505

Résumé

Boosted by technological advances on sensors, especially on LiDARsensors, and deep learningtechniques, object detection on 3D scenes has become a major stake for the deployment ofautonomous vehicles. However, most of the state-of-the-art methods tend to produce more errorswhen they exploit data from sensors that were not used for the training stage.In this PhD thesis, we investigate solutions to improve the portability of detectors acrossvarious LiDAR models. In fact, a generalizable detector can be easily embedded in new vehicles.Moreover, such a detector can ease the annotation process by providing an initial set of labels onrecorded data instead of annotating from scratch.We first introduce the context of the thesis by defining the studied tasks aswell as the datasetsand the metrics that are used in this work.Thereafter, we trace the evolution of deep learning techniques for object detection. Technologicaladvances on RGB images heavily influenced the other fields. Hence, a history of 2Ddetection methods are introduced first and foremost. Then, a listing of state-of-the-art 3D objectdetection methods is developed. The topic has been greatly investigated. Consequently, thesemethods are summarized and grouped according to the sensor types they use.The following chapter presents our first contribution, an anchor-free LiDAR detector in orderto reduce the number of hyperparameters required for the training. The network is a segmentationnetwork whose goal is to produce a pseudo occupancy map representing a top view of the scene.Each pixel of the map indicate an estimation of the occupancy of its corresponding 3D region.Obstacles are represented as ellipses on the map to allow the extraction of their parametersthrough image processing and optimization techniques.Lastly, our second contribution deals with portability of detectors across datasets built withvarious setups. The goal is to determine how to improve the performances of a detector whentrained on one dataset and applied on others without supplementary priors. This study revolvesaround one LiDAR detector and two camera - LiDAR networks. In order to improve the resistanceto domain variations, two techniques were developed. The first one consists in the randomizedremoval of layers in the input point cloud. This technique allows to increase the variability of dataobserved during the training stage. The second technique consists in representing the obstaclesas Gaussian functions, Statistical distances then can be used as loss functions. Both techniquesimprove the performances, especially on low-resolutions point clouds. Moreover, the LiDARdetector, besides running in real-time, is able to provide reliable detections on multiple datasets.
Propulsé par les avancées technologiques, en particulier sur les capteurs LiDAR, et les réseaux de neurones profonds, le domaine de détection d’obstacles dans une scène3D est devenu un domaine d’importance majeure dans le développement de véhicules autonomes. Néanmoins, la grande majorité des méthodes de l’état de l’art sont davantage sujettes aux défaillances lorsqu’elles sont utilisées avec des capteurs différents de ceux utilisés pour leur entraînement. Cette thèse porte sur l’étude de solutions pour accroître la portabilité de détecteurs d’obstacles sur différentes configurations de capteurs, caméra et LiDAR. En effet, un système de détection pré-entraîné pouvant opérer sur des données produites par plusieurs modèles de capteurs peut facilement être intégré à un véhicule sans adaptation majeure ni entraînement supplémentaire sur un domaine cible. En outre, ce domaine cible n’est en général pas annoté. Un détecteur capable de traiter des entrées diverses peut ainsi contribuer à l’annotation initiale d’un ensemble d’acquisitions vierges enregistré à l’aide d’un capteur différent du modèle utilisé pour l’entraînement.D’abord, le cadre de la thèse est défini ainsi que les jeux de données utilisés durant les travaux. Les principales métriques de performances utilisées dans ce manuscrit sont également décrites. Puis, l’évolution des méthodes reposant sur l’apprentissage profond pour les tâches de détection d’objets est retracée. Les avancées sur les images RGB ayant grandement influencé le domaine, les méthodes de détections font d’abord l’objet d’un historique. Un état de l’art sur les techniques de détection 3D est ensuite réalisé. Le sujet ayant été vastement étudié, les méthodes de la littérature sont synthétisées et regroupées en fonction des capteurs utilisés pour réaliser la tâche. Le chapitre suivant est consacré à notre première contribution, l’élaboration d’un détecteur LiDAR dit anchor-free afin de réduire le nombre d’hyper-paramètres nécessaires à l’apprentissage. Le réseau utilisé est un réseau de segmentation dont l’objectif est de réaliser une pseudo carte d’occupation représentant la scène vue de dessus. La valeur de chaque pixel de cette carte donne une estimation de l’occupation de sa région correspondante dans l’espace 3D. Les obstacles sont représentés sous la forme de disques elliptiques afin de permettre l’extraction de leurs paramètres à l’aide d’algorithmes de traitement d’images et d’optimisation. Notre seconde contribution, présentée dans le chapitre subséquent, est une étude concernant la portabilité de réseaux sur plusieurs jeux de données construits autour d’équipements variés. L’objectif est ici d’évaluer ce qu’un réseau entraîné avec un unique jeu de données peut accomplir dans des contextes très différents. Cette étude est centrée autour d’un réseau LiDAR et de deux réseaux caméra - LiDAR. Afin d’améliorer la résilience aux variations de domaine, nous avons développé deux techniques. La première consiste en la réduction aléatoire du nombre de nappes dans le nuage de points 3Dutilisé en entrée du réseau. Elle permet ainsi de diversifier les distributions de points observées par le réseau au cours de l’entraînement et de devenir plus versatile vis-à-vis du capteur utilisé pour générer le nuage de points. La seconde technique consiste en une représentation des obstacles sous la forme d’une fonction gaussienne permettant l’usage de distances statistiques comme fonctions de coût. Ces deux techniques permettent une amélioration des performances sur des nuages de points bien plus épars. De plus, le détecteur LiDAR, testé sur plusieurs jeux de données, s’exécute en temps réel et fournit des détections pertinentes sur flux de données non annotés.
Fichier principal
Vignette du fichier
2021UCFAC090_THEODOSE.pdf (43.91 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03699119 , version 1 (20-06-2022)

Identifiants

  • HAL Id : tel-03699119 , version 1

Citer

Ruddy Théodose. Fusion Caméra-LiDAR à l’aide de réseaux de neurones artificiels pour la détection d’obstacles à bord de véhicules autonomes. Vision par ordinateur et reconnaissance de formes [cs.CV]. Université Clermont Auvergne, 2021. Français. ⟨NNT : 2021UCFAC090⟩. ⟨tel-03699119⟩
217 Consultations
23 Téléchargements

Partager

Gmail Facebook X LinkedIn More