Feature Extraction and Pattern Recognition with Neuromorphic Vision Sensors - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Feature Extraction and Pattern Recognition with Neuromorphic Vision Sensors

Extraction de caractéristiques et reconnaissance de formes avec des caméras neuromorphiques

Résumé

Event-based cameras -- also known as neuromorphic -- are sensors that mimic the mammalian eye in the way they acquire the visual scene. Each pixel is independent and asynchronous, and reacts to changes in its own field-of-view by emitting events that signal these changes. The stream of events output by the camera is a sparse and non-redundant representation of the visual scene. In this thesis, we introduce event-based -- asynchronous, triggered by new events -- methods for feature extraction and pattern recognition. The first feature is a motion-based feature that accumulate optical-flows, that can serve for pattern recognition and corner detection. We then introduce a gesture recognition pipeline that is embarked on a smartphone, that includes a dynamic background suppression, and runs without any off-board requirements. We then present a new time-adaptive memory architecture for event-based algorithms, focusing on semi-accumulative methods. This memory is based on an associative memory, and while allowing for a more efficient storage of events, enables "in-memory" computation, pushing forward the philosophy of distributed computation in event-based systems. We finally discuss the benefits and disadvantages of semi-accumulative methods.
Les caméras événementielles ou neuromorphiques sont des capteurs s'inspirant de l’œil humain dans leur fonctionnement. Chaque pixel est indépendant, asynchrone et réagit aux changements de luminosité se produisant dans son propre champ de vision ; ces changements se traduisent par l'émission d'un événement. Le flot d'évènements émis par la caméra est une représentation éparse et non redondante de la scène visuelle. Dans cette thèse, nous introduisons des méthodes événementielles, c'est-à-dire asynchrones et déclenchées par des événements, qui ont pour but l'extraction de caractéristiques et la reconnaissance de formes. Nous introduisons une première primitive basée sur le flot optique. Celle-ci est ensuite utilisée pour des tâches de reconnaissance de gestes et de détection de coins. Nous introduisons ensuite un système complet de reconnaissance de gestes basé sur HOTS (Hierarchy Of Time-Surfaces, Lagorce 2016) avec suppression dynamique de l'arrière-plan. L'ensemble se contente de la puissance de calcul offerte par un smartphone standard. Nous présentons ensuite une proposition d'architecture de mémoire adaptée aux algorithmes événementiels semi-accumulatifs. Celle-ci se fonde sur le principe des mémoires associatives. Elle présente deux avantages : un stockage plus efficace des événements et la possibilité d'effectuer des calculs à l'intérieur même du bloc mémoire. Ce dernier point est un pas supplémentaire vers un calcul distribué dans les systèmes événementiels. Nous discutons également au long de ce travail des bénéfices et désavantages des méthodes semi-accumulatives.
Fichier principal
Vignette du fichier
MARO_Jean_Matthieu_2020.pdf (34.51 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03402490 , version 1 (25-10-2021)

Identifiants

  • HAL Id : tel-03402490 , version 1

Citer

Jean-Matthieu Maro. Feature Extraction and Pattern Recognition with Neuromorphic Vision Sensors. Neurons and Cognition [q-bio.NC]. Sorbonne Université, 2020. English. ⟨NNT : 2020SORUS155⟩. ⟨tel-03402490⟩
109 Consultations
17 Téléchargements

Partager

Gmail Facebook X LinkedIn More