Moving Objects Detection and Tracking using Hybrid Event-based and Frame-based Vision for Autonomous Driving - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Moving Objects Detection and Tracking using Hybrid Event-based and Frame-based Vision for Autonomous Driving

Détection et suivi d’objets en mouvement à l’aide d’une vision hybride basée sur les événements et sur les images pour la conduite autonome

Haixin Sun
  • Fonction : Auteur
  • PersonId : 1316829
  • IdRef : 271728701

Résumé

The event-based camera is a bioinspiredsensor that differs from conventionalframe cameras: Instead of grabbing frameimages at a fixed rate, they asynchronouslymonitor per-pixel brightness change and outputa stream of events data that contains the time,location and sign of the brightness changes.Event cameras offer attractive propertiescompared to traditional cameras: high temporalresolution, high dynamic range, and low powerconsumption. Therefore, event cameras have anenormous potential for computer vision inchallenging scenarios for traditional framecameras, such as fast motion, and high dynamicrange.This thesis investigated the model-based anddeep-learning-based for object detection andtracking with the event camera. The fusionstrategy with the frame camera is proposedsince the frame camera is also needed toprovides appearance infomation. The proposedperception algorithms include optical flow,object detection and motion segmentation.Tests and analyses have been conducted toprove the feasibility and reliability of theproposed perception algorithms.
La caméra basée sur lesévénements est un capteur bioinspiré qui diffèredes caméras à images conventionnelles : Aulieu de saisir des images à une fréquence fixe,elles surveillent de manière asynchrone leschangements de luminosité par pixel etproduisent un flux de données d'événementscontenant l'heure, le lieu et le signe deschangements de luminosité. Les camérasévénementielles offrent des propriétésintéressantes par rapport aux camérastraditionnelles : haute résolution temporelle,gamme dynamique élevée et faibleconsommation d'énergie. Par conséquent, lescaméras événementielles ont un énormepotentiel pour la vision par ordinateur dans desscénarios difficiles pour les camérastraditionnelles, tels que le mouvement rapide etla gamme dynamique élevée. Cette thèse aétudié la détection et le suivi d'objets avec lacaméra événementielle en se basant sur unmodèle et sur l'apprentissage profond. Lastratégie de fuison avec la caméra d'image estproposée puisque la caméra d'image estégalement nécessaire pour fournir desinformations sur l'apparence. Les algorithmesde perception proposés comprennent le fluxoptique, la détection d'objets et la segmentationdu mouvement. Des tests et des analyses ontété effectués pour prouver la faisabilité et lafiabilité des algorithmes de perceptionproposés.
Fichier principal
Vignette du fichier
H_SUN.pdf (26.03 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04309370 , version 1 (27-11-2023)

Identifiants

  • HAL Id : tel-04309370 , version 1

Citer

Haixin Sun. Moving Objects Detection and Tracking using Hybrid Event-based and Frame-based Vision for Autonomous Driving. Automatic. École centrale de Nantes, 2023. English. ⟨NNT : 2023ECDN0014⟩. ⟨tel-04309370⟩
58 Consultations
16 Téléchargements

Partager

Gmail Facebook X LinkedIn More