Modélisation du traitement visuel de l'information lors de la locomotion à l'aide de réseaux de neurones impulsionnels bio-inspirés - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Modeling visual information processing during locomotion using bio-inspired spiking neural networks

Modélisation du traitement visuel de l'information lors de la locomotion à l'aide de réseaux de neurones impulsionnels bio-inspirés

Paul Fricker
  • Fonction : Auteur
  • PersonId : 1237817
  • IdRef : 268507708

Résumé

Artificial intelligence has been booming for many years and defines the basis for all learning carried out by computer systems. Among the learning methods used are artificial neural networks. The latter's development was initially greatly motivated by the desire to understand the biological mechanisms underlying the treatments carried out by the human brain. In recent years, neural networks have become increasingly complex, with an ever-increasing number of parameters and energy consumption. While today's deep or convolutional neural networks perform excellently for many cognitive tasks, it isn't easy to use them to understand information processing in living organisms. However, some types of artificial neural networks remain more rooted in biology. These are the impulse neural networks (Spiking Neural Networks or SNN). They are based on communication mechanisms observed between neurons. The latter transmit information to each other through electrical impulses with reduced energy consumption. Learning within these SNNs can be carried out in an unsupervised way from plasticity rules observed in living organisms, such as Spike-Timing-Dependent Plasticity or STDP. This thesis aims to model visual processing during locomotion from SNs regulated by STDP-type learning and which receive data captured by asynchronous cameras whose operation is directly inspired by the retina. A first study (Fricker et al., VISAPP2022) looks at creating such a network for learning optical flow components. By interfacing this SNN with event data entries that were first simulated, we were able to highlight the network's performance for estimating the different components of the optical flow through different noise and speed conditions. The same network was later trained from actual navigation data captured using an event camera. While the task is more complicated despite convincing optical flow decoding, it highlights the need for a dataset halfway between simulated event data captured in actual conditions to get closer to natural navigation tasks while maintaining control over the data. A second study focuses on creating such a dataset for network learning. This dataset is obtained from dedicated software to extract and then model the 3D structure within different environments. This software can then simulate the spikes generated by a virtual camera moving according to varying trajectories within these environments. This approach makes it possible to control the data received by the network and thus improve learning. The first results show that the neurons of the network become selective to the different components of the optical flow while remaining invariant to the spatial properties after learning. The proposed method, therefore, provides a solid basis for processing optical flow from impulse neural networks and within different environmental contexts.
Le domaine de l'intelligence artificielle est en plein essor depuis de nombreuses années et définit la base de tout apprentissage s'effectuant par des systèmes informatiques. Parmi les méthodes d'apprentissage utilisées se retrouvent les réseaux de neurones artificiels. Le développement de ces derniers était à l'origine grandement motivé par le désir de comprendre les mécanismes biologiques sous-tendant les traitements effectués par le cerveau humain. Au cours des dernières années, les réseaux de neurones se sont de plus en plus complexifiés avec un nombre de paramètres et une consommation énergétique toujours plus élevés. Si les réseaux de neurones profonds ou convolutionnels actuels ont d'excellentes performances pour de nombreuses tâches cognitives, il est désormais difficile de les utiliser comme outil pour comprendre le traitement de l'information chez le vivant. Certains types de réseaux de neurones artificiels restent néanmoins plus ancrés dans la biologie, il s'agit des réseaux de neurones impulsionnels (Spiking Neural Networks ou SNN en anglais). Ils reposent sur des mécanismes de communication observés entre les neurones. Ces derniers se transmettent des informations sous la forme d'impulsions électriques dont la consommation énergétique est très réduite. L'apprentissage au sein de ces SNN peut s'effectuer de façon non-supervisée à partir de règles de plasticité observées chez le vivant comme la Spike-Timing-Dependent Plasticity ou STDP. Cette thèse a pour objectif de modéliser le traitement visuel lors de la locomotion à partir de SNNs régulés par un apprentissage de type STDP et qui reçoivent des données captées par des caméras asynchrones dont le fonctionnement s'inspire directement de celui de la rétine. Une première étude (Fricker et al., VISAPP2022) se penche sur la création d'un tel réseau pour l'apprentissage des composantes de flux optique. En interfaçant ce SNN avec des entrées de données événementielles d'abord simulées, nous avons pu mettre en évidence les performances du réseau pour l'estimation des différentes composantes du flux optique à travers différentes conditions de bruit et de vitesse. Le même réseau a par la suite été entrainé à partir de données de navigation réelles capturées à l'aide d'une caméra événementielle. Si la tâche s'avère plus difficile malgré un décodage du flux optique convaincant, elle met en évidence le besoin d'un jeu de données à mi-chemin entre des données événementielles simulées et capturées en condition réelle afin de se rapprocher de tâches de navigation naturelle en gardant un contrôle sur les données. Une seconde étude s'intéresse à la création d'un tel jeu de données pour l'apprentissage du réseau. Ce jeu de données est obtenu à partir d'un logiciel dédié permettant d'extraire puis de modéliser la structure 3D au sein de différents environnements. Ce logiciel peut ensuite simuler les spikes générés par une caméra virtuelle se déplaçant selon différentes trajectoires au sein de ces environnements. Cette approche permet de bien contrôler les données reçus par le réseau et d'améliorer ainsi l'apprentissage. Les premiers résultats montrent que les neurones du réseau après apprentissage deviennent sélectifs aux différentes composantes du flux optique tout en restant invariant aux propriétés spatiales. La méthode proposée constitue donc une base solide pour le traitement du flux optique à partir de réseau de neurones impulsionnels et au sein de différents contextes environnementaux.
Fichier principal
Vignette du fichier
2022TOU30219a.pdf (14.3 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04031578 , version 1 (16-03-2023)

Identifiants

  • HAL Id : tel-04031578 , version 1

Citer

Paul Fricker. Modélisation du traitement visuel de l'information lors de la locomotion à l'aide de réseaux de neurones impulsionnels bio-inspirés. Médecine humaine et pathologie. Université Paul Sabatier - Toulouse III, 2022. Français. ⟨NNT : 2022TOU30219⟩. ⟨tel-04031578⟩
52 Consultations
34 Téléchargements

Partager

Gmail Facebook X LinkedIn More