Exploration of brain-inspired computing with self-organizing neuromorphic architectures
Exploration du calcul bio-inspiré avec des architectures neuromorphiques auto-organisées
Résumé
The brain's cortical plasticity is one of the main features that enable our capability to learn and adapt in our environment. Indeed, the cerebral cortex has the ability to self-organize itself through two distinct forms of plasticity: the structural plasticity that creates (sprouting) or cuts (pruning) synaptic connections between neurons, and the synaptic plasticity that modifies the synaptic connections strength. These mechanisms are very likely at the basis of an extremely interesting characteristic of the human brain development: the multimodal association. In spite of the diversity of the sensory modalities, like sight, sound and touch, the brain arrives at the same concepts. Moreover, biological observations show that one modality can activate the internal representation of another modality when both are correlated. To model such a behavior, Edelman and Damasio proposed respectively the Reentry and the Convergence Divergence Zone frameworks where bi-directional neural communications can lead to both multimodal fusion (convergence) and inter-modal activation (divergence). Nevertheless, these theoretical frameworks do not provide a computational model at the neuron level.The objective of this thesis is first to explore the foundations of brain-inspired self-organization in terms of (1) multimodal unsupervised learning, (2) massively parallel, distributed and local computing, and (3) extremely energy-efficient processing. Based on these guidelines and a review of the neural models in the literature, we choose the Self-Organizing Map (SOM) proposed by Kohonen as the main component of our system. We introduce the Iterative Grid, a fully distributed architecture with local connectivity amongst hardware neurons which enables cellular computing in the SOM, and thus a scalable system is terms of processing time and connectivity complexity.Then, we assess the performance of the SOM in the problem of post-labeled unsupervised learning: no label is available during training, then very few labels are available for naming the SOM neurons. We propose and compare different labeling methods so that we minimize the number of labels while keeping the best accuracy. We compare our performance to a different approach using Spiking Neural Networks (SNNs) with Spike Timing Dependant Plasticity (STDP) learning.Next, we propose to improve the SOM performance by using extracted features instead of raw data. We conduct a comparative study on the SOM classification accuracy with unsupervised feature extraction from the MNIST dataset using two different approaches: a machine learning approach with Sparse Convolutional Auto-Encoders using gradient-based learning, and a neuroscience approach with SNNs using STDP learning.To prove the SOM ability to handle more complex datasets, we use transfer learning in the mini-ImageNet few shot classification benchmark to exploit a Wide Residual Network backbone trained on a base dataset as a feature extractor, then we use the SOM to classify the obtained features from the target dataset.Finally, we move into the multimodal association mechanism. We build the Reentrant SOM (ReSOM), a brain-inspired neural system based on the Reentry principles using SOMs and Hebbian-like learning. We propose and compare different computational methods for multimodal unsupervised learning and inference, then quantify the gain of both convergence and divergence mechanisms on three multimodal datasets. The divergence mechanism is used to label one modality based on the other, while the convergence mechanism is used to improve the overall accuracy of the system. We compare our results to SNNs with STDP learning and different fusion strategies, then we show the gain of the so-called hardware plasticity induced by our model, where the system's topology is not fixed by the user but learned along the system's experience through self-organization.
La plasticité corticale du cerveau est l'une des principales caractéristiques qui nous permettent d'apprendre et de nous adapter à notre environnement. En effet, le cortex cérébral a la capacité de s'auto-organiser grâce à deux formes de plasticité : la plasticité structurelle qui crée ou coupe les connexions synaptiques entre les neurones, et la plasticité synaptique qui modifie la force des connexions synaptiques. Ces mécanismes sont très probablement à la base d'une caractéristique extrêmement intéressante du développement du cerveau humain : l'association multimodale. Malgré la diversité des modalités sensorielles, comme la vue, le son et le toucher, le cerveau arrive aux mêmes concepts. De plus, les observations biologiques montrent qu'une modalité peut activer la représentation interne d'une autre modalité lorsque les deux sont corrélées. Pour modéliser un tel comportement, Edelman et Damasio ont proposé respectivement la réentrance et la zone de convergence/divergence où les communications neurales bidirectionnelles peuvent conduire à la fois à la fusion multimodale (convergence) et à l'activation intermodale (divergence). Néanmoins, ces cadres théoriques ne fournissent pas de modèle de calcul au niveau des neurones.L'objectif de cette thèse est d'abord d'explorer les fondements de l'auto-organisat-ion inspirée par le cerveau en termes (1) d'apprentissage multimodal non supervisé, (2) de calcul massivement parallèle, distribué et local, et (3) de traitement efficace sur le plan énergétique. Sur la base de ces lignes directrices et d'une étude des modèles neuronaux de la littérature, nous choisissons la carte auto-organisée (SOM) proposée par Kohonen comme composant principal de notre système. Nous introduisons la grille itérative, une architecture entièrement distribuée avec une connectivité locale entre les neurones matériels qui permet un calcul cellulaire dans le SOM, et donc un système qui passe à l'échelle en termes de temps de traitement et de connectivité.Ensuite, nous évaluons la performance du SOM dans le problème de l'apprentissage non supervisé post-étiqueté : aucun label n'est disponible pendant l'entrainement, puis très peu de labels sont disponibles pour étiqueter les neurones du SOM. Nous proposons et comparons différentes méthodes d'étiquetage afin de minimiser le nombre d'étiquettes tout en conservant la meilleure précision. Nous comparons nos performances à une approche différente utilisant des réseaux neuronaux à spike (SNN).Ensuite, nous proposons d'améliorer les performances du SOM en utilisant des caractéristiques extraites au lieu de données brutes. Nous menons une étude comparative sur la classification du SOM avec extraction non-supervisée de caractéristiques à partir de la base de données MNIST en utilisant deux approches différentes : une approche d'apprentissage machine avec des auto-encodeurs convolutionnels et une approche bio-inspirée avec des SNN.Pour prouver la capacité du SOM à classifier des données plus complexes, nous utilisons l'apprentissage par transfert dvec la base de données mini-ImageNet.Enfin, nous passons au mécanisme d'association multimodale. Nous construisons le modèle bio-inspiré ReSOM basé sur les principes de réentrance en utilisant les SOMs et l'apprentissage Hebbien. Nous proposons et comparons différentes méthodes de calcul pour l'apprentissage et l'inférence multimodale non supervisée, puis nous quantifions le gain des mécanismes de convergence et de divergence sur trois bases de données multimodales. Le mécanisme de divergence est utilisé pour étiqueter une modalité à partir de l'autre, tandis que le mécanisme de convergence est utilisé pour améliorer la classification globale du système. Nous comparons nos résultats avec des SNNs, puis nous montrons le gain de la plasticité dite matérielle induite par notre modèle, où la topologie du système n'est pas fixée par l'utilisateur mais apprise au fil de l'expérience du système par l'auto-organisation.
| Origine | Version validée par le jury (STAR) |
|---|