Multi-sensor embeded system for object detection
Système embarqué de fusion multi-capteurs pour la détection et le suivi d'obstacles statiques et dynamiques
Résumé
This thesis is a part of an Industrial Agreements for Training through Research (Cifre) in partnership with NAVYA Technology, for autonomous vehicles. Navya designed the shuttle ARMA which used proprioceptive and exteroceptive sensors for localization (SLAM : Simultaneous Localization and Mapping) as well as the detection and tracking of obstacles (DTMO : Detection and Tracking of Moving Objects). In this thesis, we were interested in the DTMO task which aimed to detect objects around the vehicle to avoid collisions and to ensure secure and reliable autonomous driving. Our contributions through this thesis were as follows : (1) We proposed an extrinsic calibration methodology between a single-vision system and a 2D LIDAR sensor. We presented a complete implementable toolchain to extract the co-features for both types of sensors. We validated this contribution on the autonomous shuttle ARMA. (2) Since an autonomous vehicle is located in an uncertain environment, we chose the belief theory (or Dempster-Shafer) to model and manage knowledge and uncertainties. We proposed a camera-radar fusion methodology to improve the reliability of detection and classification for both pedestrians and vehicles. (3) Our implementation target is a 100% electric autonomous shuttle. So, it was necessary to use an embedded platform to respect constraints such as power consumption. In this contribution, FPGA was our solution to host the intensive processing of autonomous vehicle perception algorithms. We presented an embedded solution based on heterogeneous System On Chip (Zynq-7000) to fuse the positions of obstacles detected by a stereoscopic camera and a LIDAR using the Bayesian approach.
Ce mémoire s’inscrit dans le cadre d’une Convention industrielle de formation par la recherche (Cifre) en partenariat avec l’entreprise NAVYA Technology, spécialisée dans la fabrication des véhicules électriques autonomes. La technologie de la navette ARMA conçue par Navya, utilise des capteurs proprioceptifs et extéroceptifs pour la localisation (SLAM : Simultaneous Localization and Mapping) ainsi que pour la détection et le suivi d’obstacles statiques et dynamiques (DTMO : Detection and Tracking of Moving Objects). Dans cette thèse, nous nous intéressons à la fonctionnalité DTMO qui a pour objectif de détecter les objets autour du véhicule afin d’éviter les collisions et assurer une conduite autonome, sécurisée et fiable. Nos contributions à travers cette thèse sont les suivantes : (1) Nous avons proposé une méthodologie de calibration extrinsèque entre un système mono-vision et un capteur LIDAR 2D. Nous avons développé un environnement de calibration qui inclut l’extraction des caractéristiques de la mire de calibration par les deux capteurs. Nous avons validé cette contribution sur la navette autonome ARMA. (2) Étant donné qu’un véhicule autonome se situe dans un environnement incertain, nous avons choisi la théorie de croyance (ou Dempster Shafer) et ses outils pour modéliser les connaissances et les incertitudes. Nous avons mis à contribution une approche de fusion entre une caméra et un radar dans le but d’améliorer la fiabilité de détection et de classification des piétons et des véhicules. Pour classifier les obstacles, les connaissances sont déduites à partir du paramètre Radar Cross Section (RCS) fourni par le radar, qui reflète la nature de l’obstacle détecté, et la classification effectuée par la caméra. (3) Dans une troisième contribution, nous avons exploré l’espace de conception d’une plateforme embarquée dédiée à la détection d’obstacles. Parmi les technologies d’accélération du traitement, nous avons choisi la solution FPGA permettant d’offrir une puissance de calcul performante, par le moyen de ses ressources reconfigurables, avec une faible consommation de puissance tout en garantissant un coût maitrisé. Nous avons présenté une conception d’une plateforme embarquée à base d’un système sur puce hétérogène (Zynq−7000) pour fusionner les postions d’obstacles détectés par une caméra stéréoscopique et un LIDAR en utilisant l’approche bayésienne.
| Origine | Version validée par le jury (STAR) |
|---|