Online continual learning for 3D detection of road participants in autonomous driving
Apprentissage continu en ligne pour la détection 3D des usagers de la route en conduite autonome
Résumé
Autonomous driving has witnessed remarkable progress over the past decades, and machine perception stands as a critical foundational issue, encompassing the detection and tracking of road participants such as vehicles, pedestrians, and cyclists. While vision-based object detection has achieved significant progress thanks to deep learning techniques, challenges still exist in 3D detection.Firstly, non-visual sensors, such as 3D LiDAR, demonstrate unparalleled advantages in achieving precise detection and adaptability to varying lighting conditions. However, the complexity of handling points cloud data, which can be challenging to interpret, coupled with the high cost of manual annotation, pose primary challenges in the use of 3D LiDAR.Secondly, concerns arise from the lack of interpretability in deep learning models, coupled with their heavy reliance on extensive training data, which often necessitates costly retraining for acceptable generalization performance when adapting to new scenes or environments.This dissertation addresses these challenges from three main perspectives: Generation of Samples, Preservation of Knowledge, and Avoidance of Catastrophic Forgetting. We introduce the concept of Online Continual Learning (OCL) and propose a general framework that encompasses detection, tracking, learning, and control. This framework enables models to update in real-time, preserving knowledge rather than raw data, and effectively mitigating the performance degradation caused by catastrophic forgetting.The main work of this dissertation includes: 1) Generation of Samples: To address sparse point clouds generated by 3D LiDAR and the labor-intensive manual annotation, we leverage the advantages of multi-sensor data and employ an efficient online transfer learning framework. This framework effectively transfers mature image-based detection capabilities to 3D LiDAR-based detectors. An innovative aspect is the "learn-by-use" process, achieved through closed-loop detection, facilitating continuous self-supervised learning. A novel information fusion strategy is proposed to combine spatio-temporal correlations, enhancing the effectiveness of knowledge transfer. 2) Preservation of Knowledge: Online Learning (OL) is introduced to address knowledge preservation without retaining training data. An improved Online Random Forest (ORF) model is incorporated, enabling rapid model training with limited computational resources and immediate deployment. The ORF model's parameters are dynamically shared throughout the training process to address the unknown data distribution. The exploration of ORF tree structures ensures independence in training processes, enhancing the model's ability to capture complex patterns and variations. Implementing octrees improves storage efficiency and model access. 3) Avoidance of Catastrophic Forgetting: To tackle the inevitable forgetting problem in online learning frameworks during long-term deployment, we propose the Long Short-Term Online Learning (LSTOL) framework. LSTOL combines multiple short-term learners based on ensemble learning with a long-term controller featuring a probabilistic decision mechanism. This framework ensures effective knowledge maintenance and adapts to changes during long-term deployment, without making assumptions about model types and data continuity. Cross-dataset evaluations on tasks such as 3D detection of road participants demonstrate the effectiveness of LSTOL in avoiding forgetting.
La conduite autonome a connu des progrès remarquables au cours des dernières décennies, et la perception machine se présente comme un enjeu fondamental crucial, englobant la détection et le suivi des participants à la circulation tels que les véhicules, les piétons et les cyclistes. Bien que la détection d'objets basée sur la vision ait réalisé des progrès significatifs grâce aux techniques d'apprentissage profond, des défis subsistent dans la détection en 3D.Tout d'abord, les capteurs non visuels, tels que le LiDAR 3D, démontrent des avantages inégalés en matière de détection précise et d'adaptabilité aux conditions d'éclairage variables. Cependant, la complexité liée à la manipulation des données de nuages de points, qui peuvent être difficiles à interpréter, associée au coût élevé de l'annotation manuelle, posent des défis majeurs dans l'utilisation du LiDAR 3D.Deuxièmement, des préoccupations découlent du manque d'interprétabilité des modèles d'apprentissage profond, associée à leur forte dépendance à des données d'entraînement étendues, ce qui nécessite souvent une rétroaction coûteuse pour obtenir une performance acceptable lors de l'adaptation à de nouveaux environnements.Cette thèse aborde ces défis selon trois principaux axes : Génération d'échantillons, Préservation des connaissances et Évitement de l'oubli catastrophique. Nous introduisons le concept d'Apprentissage Continu en Ligne et proposons un cadre général. Ce cadre permet aux modèles de se mettre à jour en temps réel, préservant les connaissances plutôt que les données brutes, et atténuant efficacement la dégradation des performances causée par l'oubli.Les principaux travaux de cette thèse comprennent les trois contributions suivance : 1) Génération d'échantillons : Pour résoudre le problème des nuages de points clairsemés générés par un LiDAR 3D et de l'annotation manuelle laborieuse, nous tirons parti des avantages des données multi-capteurs et utilisons un cadre efficace d'apprentissage en ligne par transfert. Ce cadre transfère efficacement les capacités matures de détection basée sur des images aux détecteurs basés sur le LiDAR 3D. Un aspect innovant est le processus d'apprentissage par utilisation, réalisé grâce à la détection en boucle fermée. Une nouvelle stratégie de fusion d'informations est proposée pour combiner les corrélations spatio-temporelles, améliorant l'efficacité du transfert de connaissances. 2) Préservation des connaissances : L'Apprentissage en Ligne est introduit pour assurer la préservation des connaissances sans conserver les données d'entraînement. Un modèle amélioré de Forêt Aléatoire (Random Forest) en Ligne est intégré, permettant un entrainement rapide du modèle avec des ressources informatiques limitées et un déploiement immédiat. Les paramètres du modèle Forêt Aléatoire en Ligne sont partagés dynamiquement tout au long du processus d’entrainement pour répondre à la distribution inconnue des données. L'exploration des structures d'arbres Forêt Aléatoire en Ligne garantit l'indépendance du processus d’entrainement, renforçant la capacité du modèle à capturer des schémas et des variations complexes. 3) Évitement de l'oubli catastrophique : Pour faire face au problème inévitable de l'oubli dans le cadre d'apprentissage en ligne lors d'un déploiement à long terme, nous proposons le cadre de l'Apprentissage en Ligne à Long-court Terme (ALLCT). L'ALLCT combine de multiples apprenants à court terme basés sur l'apprentissage en ensemble avec un contrôleur à long terme doté d'un mécanisme de décision probabiliste. Ce cadre assure une maintenance efficace des connaissances et s'adapte aux changements lors d'un déploiement à long terme, sans faire d'hypothèses sur les types de modèles et la continuité des données. Les évaluations croisées de jeux de données sur des tâches telles que la détection 3D de participants à la circulation routière démontrent l'efficacité de l'ALLCT dans l'évitement de l'oubli.
| Origine | Version validée par le jury (STAR) |
|---|