Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception

Résoudre l’occlusion et la faible densité à distance des nuages de points pour la détection d’objets 3D par perception collaborative

Minh Quan Dao
  • Fonction : Auteur
  • PersonId : 1372524
  • IdRef : 276842790

Résumé

Detecting objects at a high precision in 3D is critical for the safety of autonomous vehicles. LiDAR measurements, presented as point clouds frequently suffer from occlusion and sparsity. Prior works address these challenges by upsampling (i) pointclouds via fusion with RGB cameras or (ii) their representations via knowledge distillation. Because these approaches are designed to use point clouds obtained only by the ego vehicle at a single timestep, they are inevitably affected by unobservable regions caused by occlusion and sparsity. Aware of the limitations of single-perspective methods, this thesis strives to resolve occlusion and sparsity by leveraging point clouds obtained from multiple perspectives to the fullest. The core of our approach ismade of two components that are respectively built on the utilization of point cloud sequences and collaborative perception via V2X communication. While the former is about using information obtained by the ego vehicle during its motion through time, the latter is based on the fusion of information obtained by multiple connected agents scattering over space.
La détection précise d’objets 3D est un enjeu majeur pour l’intégration sécurisée des véhicules autonomes dans le trafic routier. Le LiDAR, offrant des mesures de profondeur précises et relativement denses, est très présent dans les bases de données deréférence. Cependant, ses nuages de points sont clairsemés à longue distance et soumis aux occlusions. L’état de l’art propose alors des techniques de suréchantillonnage, par fusion avec des caméras ou par distillation des connaissances, afin d’obtenir de bonnes détections. La première méthode permet de reconstruire la profondeur des pixels afin de générer des points supplémentaires tandis que la seconde vise à obtenir des nuages de points imitant ceux sans occlusion ni dispersion. Comme ces approches utilisent des mesures obtenues par le véhicule ego à chaque pas de temps, la détection est inévitablement affectée par ces régions inobservables. Conscient des limites des méthodes à perspective unique, ces travaux de thèse s’efforcent à résoudre les problèmes d’occlusion et de rareté en exploitant des perspectives multiples. Notre approche exploite d’une part les mesures du véhicule ego par séquences : au cours de son déplacement dans le temps. D’autre part, nous proposons une perception collaborative basée sur la fusion des informations obtenues par de multiples agents connectés.
Fichier principal
Vignette du fichier
M_Q_DAO.pdf (18.07 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04536876 , version 1 (08-04-2024)

Identifiants

  • HAL Id : tel-04536876 , version 1

Citer

Minh Quan Dao. Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception. Automatic. École centrale de Nantes, 2023. English. ⟨NNT : 2023ECDN0026⟩. ⟨tel-04536876⟩
60 Consultations
20 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More