Precise timing and computationally efficient learning in neuromorphic systems
Apprentissage dans des systèmes neuromorphiques : précision temporelle et efficacité calculatoire
Résumé
From image recognition to automated driving, machine learning nowadays is all around us and impacts various aspects of our daily lives. This disruptive technology is rapidly evolving at a huge cost in terms of energy consumption. Machine learning models are usually trained on powerful GPUs, limiting the potential for edge computing. Processing data locally instead of relying on cloud computing brings about improvements in speed and latency, which are essential for real-time applications. The field of neuromorphic engineering tries to solve the energy bottleneck problem through bio-inspired hardware and computation techniques. In particular, neuromorphic vision sensors feature independent pixels that asynchronously generate millions of events per second with high temporal precision, depending on the dynamics of a visual scene. The goal of this thesis is to take advantage of precise timing on neuromorphic architectures in order to develop computationally-efficient learning algorithms. We approach the issue through two different perspectives: spiking neural networks and probabilistic models. We introduce a delay-learning rule for spiking neural networks that relies on highly redundant sparse connectivity. We also develop bio-inspired learning techniques on a dedicated hardware with ultra-low power requirements and latency. The system implements synaptic plasticity using a memristive crossbar array to learn from the output of event-based vision sensors in the context of autonomous driving. When working with very large streams of events, we introduce two clustering techniques based on Gaussian mixture models that set a new state of the art in terms of computational efficiency.
De la reconnaissance d’image à la conduite autonome, l’apprentissage machine est omniprésent dans notre vie quotidienne. Cette technologie de rupture évolue rapidement mais consomme énormément d’énergie. Les modèles d’apprentissage actuels utilisent généralement des GPU puissants qui ne permettent pas de traiter des données localement, alors que ceci améliore la vitesse et la latence indispensables aux applications en temps réel. De ce fait, le domaine de l’ingénierie neuromorphique tente de résoudre ce problème et de baisser le budget énergétique grâce à l’introduction des systèmes et des techniques d’apprentissage bio-inspirés comme notamment les capteurs de vision événementiels. Ces derniers comportent des pixels indépendants qui génèrent de manière asynchrone des millions d’événements par seconde avec une grande précision temporelle, en fonction de la dynamique d’une scène visuelle. Le but de cette thèse est de tirer profit de la précision temporelle des architectures neuromorphiques afin de développer des algorithmes d’apprentissage efficaces. Nous abordons la problématique selon deux approches différentes : celle des réseaux de neurones impulsionnels et celle des modèles probabilistes. D’abord, nous présentons un système d’apprentissage à délai pour les réseaux de neurones impulsionnels qui repose sur une connectivité éparse et hautement redondante. Ensuite, nous proposons des techniques d’apprentissage bio-inspirées sur du matériel dédié à basse latence et consommation énergétique. Le système implémente la plasticité synaptique à l’aide d’un réseau de memristors, pour l’apprentissage à partir de capteurs de vision événementiels dans le contexte de la conduite autonome. Enfin, nous introduisons deux techniques de partitionnement basées sur des modèles de mélange de gaussiennes qui établissent un nouvel état de l’art en termes d’efficacité de calcul.
| Origine | Version validée par le jury (STAR) |
|---|