Spatial recurrent neural networks : from electro-optical towards all-optical - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Spatial recurrent neural networks : from electro-optical towards all-optical

Réseaux de neurones spatiaux récurrents : de l'électro-optique au tout-optique

Résumé

Since recent years artificial intelligence and more particularly neural networks play a major role in our technological societies.Nevertheless, neural networks still remain emulated by traditional computers, resulting in challenging problems such as parallelization, energy efficiency and potentially speed.A change of paradigm is desirable but implementing neural networks in hardware is a non-trivial challenge.One promising avenue is optical neural networks, potentially avoiding parallelization bottlenecks.We experimentally implemented the first system where nodes and connections are implemented in parallel hardware, and we exploit our novel system for unique experiments.The electro-optical neural network is composed of up to 961 neurons.Connections between neurons are implemented in fully parallel by optical diffraction, offering highly advantageous scalability.The network's architecture is based on the principle of reservoir computing, therefore the number of readout weights to be trained is simply the nodes number.The trainable output layer is realized by a digital micro-mirror device, which, once trained, has the advantage of being fully parallel, passive, and therefore without bandwidth limitation and energy consumption.Using a textit{Greedy} evolutionary learning, we find that the learning excellently converges.Furthermore, it appears to possess a conveniently convex-like cost-function and demonstrates exceptional scalability of the learning effort with system size.Finally, the fundamental bases of an all-optical neural network have been studied.Neurons will be implemented in an array of quantum dots micropillar lasers optically coupled.An in-depth study of the optical pumping of micropillar lasers, ultimately allowing a highly scalable system, has revealed a pumping efficiency high enough to realistically operate around a hundred neurons simultaneously.
Depuis ces dernières années, l'intelligence artificielle et plus particulièrement les réseaux de neurones jouent un rôle important dans nos sociétés.Cependant, les réseaux neuronaux sont émulés par ordinateurs, entraînant des problèmes complexes tels que la parallélisation, l'efficacité énergétique et potentiellement la vitesse des systèmes.Un changement de paradigme est alors souhaitable, mais la mise en oeuvre de réseaux de neurones textit{hardware} reste un réel défi.Les réseaux neuronaux optiques constituent une piste très prometteuse, permettant potentiellement de résoudre la difficulté de la parallélisation.Nous avons expérimentalement conçu le premier réseau spatial où les neurones et les connexions sont matériellement et parallèlement réalisés, nous permettant ainsi d'effectuer des expériences singulières.Ce réseau électro-optique est composé de 961 neurones.Les connexions neuronales réalisées par diffraction optique offrent au système une grande capacité d'évolution.L'architecture du réseau est basée sur le concept de textit{reservoir computing}, l'apprentissage consiste alors uniquement à optimiser les poids des connexion de sortie.La couche de sortie est réalisée par un dispositif à micro-miroir numérique, qui, une fois entraînée, présente l'avantage d'être totalement parallèle, passif, sans limitation de bande passante et donc ne consomme pas d'énergie.En utilisant une version optimisée d'un apprentissage évolutif, nous constatons que celui-ci converge parfaitement et son temps d'entraînement est linéaire avec la taille du réseau.Enfin, les principes fondamentaux d'un réseau de neurones tout optique ont été étudiées.Les neurones sont réalisés via une matrice de micro-piliers lasers à quantum dots.Une étude approfondie du pompage optique des micro-piliers lasers, offrant à terme une grande capacité d'évolution au réseau, a révélé une efficacité de pompage suffisamment élevée pour faire fonctionner de manière réaliste une centaine de neurones simultanément.
Fichier principal
Vignette du fichier
these_A_ANDREOLI_Louis_2021.pdf (91.87 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03454675 , version 1 (29-11-2021)

Identifiants

  • HAL Id : tel-03454675 , version 1

Citer

Louis Andreoli. Spatial recurrent neural networks : from electro-optical towards all-optical. Neural and Evolutionary Computing [cs.NE]. Université Bourgogne Franche-Comté, 2021. English. ⟨NNT : 2021UBFCD023⟩. ⟨tel-03454675⟩
142 Consultations
6 Téléchargements

Partager

Gmail Facebook X LinkedIn More