Obstacle prediction and avoidance based on deep learning : Application to rail and road mobility
Prédiction et évitement d'obstacles basés deep learning : Application à la mobilité ferroviaire et routière.
Résumé
To improve transportation safety and make driving more autonomous, vehicles must have a better perception of their environment. Although the development of the autonomous car is receiving a lot of attention, rail transport is also following the same path. The challenge is both to improve driving comfort through navigation assistance and to increase safety during navigation.The work presented in this thesis aims at creating a reliable perception system using a single modality, in this case, images from a camera, to detect life-threatening obstacles. The system must be generic to be used on any type of camera in a traffic context on road but also rail. We will use deep learning to achieve this goal and we present four contributions. The first one is an approach based on the combination of an object detector (Yolov3), a depth estimator (MadNet), and a Kalman filter to detect, locate and track objects on the vehicle track. The second contribution is based on a new evaluation protocol for depth estimation more suitable for object localization tasks. The third contribution is based on the creation of two new databases, a virtual one based on the video game Grand Theft Auto and a real one (ESRORAD) for the autonomous train. Finally, our last contribution is an approach to the detection of 3D objects based on Yolov5 and their tracking based on a Kalman filter.The results obtained by this last approach show a real improvement in the computation time and allows use on embedded systems while being as accurate as the state-of-the-art methods.
Afin d'améliorer la sécurité des transports et rendre la conduite plus autonome, les véhicules doivent disposer d'une meilleure perception de leur environnement. Bien que le développement de la voiture autonome fasse l'objet d'une grande attention, le transport ferroviaire suit aussi la même voie. L'enjeu est à la fois d'améliorer le confort de conduite grâce à l'aide à la navigation et d'accroître la sécurité pendant la navigation.Les travaux présentés dans cette thèse visent à créer un système de perception fiable utilisant une seule modalité, en l'occurrence les images d'une caméra, afin de détecter des obstacles mettant en danger la vie des passagers. Le système doit être générique afin de pouvoir être utilisé sur tout type de caméra dans un contexte de trafic sur route mais aussi sur rail. Nous utiliserons l'apprentissage profond pour atteindre cet objectif et nous présentons quatre contributions. La première est une approche basée sur la combinaison d'un détecteur d'objets (Yolov3), d'un estimateur de profondeur (MadNet) et d'un filtre de Kalman pour détecter, localiser et suivre des objets sur la voie du véhicule. La deuxième contribution est basée sur un nouveau protocole d'évaluation de l'estimation de la profondeur plus adapté aux tâches de localisation d'objets. La troisième contribution est basée sur la création de deux nouvelles bases de données, une virtuelle basée sur le jeu vidéo \textit{Grand Theft Auto} et une réelle (ESRORAD) pour le train autonome. Enfin, notre dernière contribution est une approche pour la détection d'objets 3D basée sur Yolov5 et leur suivi basé sur un filtre de Kalman.Les résultats obtenus par cette dernière approche montrent une réelle amélioration du temps de calcul et permettent une utilisation sur des systèmes embarqués tout en étant aussi précis que les méthodes de l'état de l'art.
| Origine | Version validée par le jury (STAR) |
|---|