Memristive analog computing and innovative sensors for neuromorphic systems
Calcul analogique memristif et capteurs innovants pour systèmes neuromorphiques
Résumé
Neuromorphic engineering is a field of research in which the latest technology is used to build the next generation of computing and sensing systems, inspired by biological neural systems. The term neuromorphic was coined in the late 1980s by Carver Mead, referring to electronic circuits closely matching the principles of biological computation. Today, neuromorphic research evolved into a multidisciplinary field gathering scientists from different fields and working towards different goals. In recent years, neuromorphic has gained popularity after the surge of deep learning with part of the computer science community drawing inspiration from biology for innovative computation. Neuromorphic engineering has also attracted many material scientists seeking applications for unconventional devices. Certainly, the recent slowing down of Moore’s law and the increasing costs of improving technological nodes have boosted the interest in unconventional computing strategies. Neural network algorithms, the backbone of artificial intelligence, are not conveniently implemented with Von Neumann computers, and In-memory-computing is emerging as a promising alternative architecture for artificial intelligence. This forms the perfect storm for a paradigm shift in computing systems and motivates the works in this thesis. This thesis explores the field of in-memory computation with non-volatile-memories for neuromorphic systems. Resistive random access memories (RRAMs) are embedded into an analog architecture implementing a spiking neural network. Modern training techniques from deep learning unleash the full potential of analog in-memory computing. A modular architecture is proposed to scale up the system to large-size graphical networks. RRAM-based computing is utilized to efficiently perform the localization task with auditory cues. A sensing system based on state-of-the-art piezoelectric-micromachined-ultrasound-transducers (pMUT) is paired to a bio-inspired spiking neural network, minimizing energy consumption. RRAMs in-memory computing is also applied to artificial olfaction, where an array of chemically functionalized Mach-Zender interferometers implements an innovative gas sensor. On-line learning with a dedicated circuit enables novel utilization of artificial olfaction. Non-volatile memories are also involved in novel forms of computations, going beyond the conventional schemes of neuromorphic. RRAMs endow both synapses and neurons with plasticity mechanisms that coexist in an unsupervised learning procedure. Inspired by the intricate structures of biological neurons, dendritic circuits are proposed, extending the existing network architectures constituted by neurons and synapses. Dendrite circuits improve the efficiency and memory footprint of neuromorphic spiking neural networks. This thesis results are significant in the fields of in-memory computing and neuromorphic systems.
L'ingénierie neuromorphique est un domaine de recherche dans lequel les dernières technologies sont utilisées pour construire la prochaine génération de systèmes informatiques et de détection, inspirés des systèmes neuronaux biologiques. Le terme neuromorphique a été inventé à la fin des années 1980 par Carver Mead, faisant référence aux circuits électroniques correspondant étroitement aux principes du calcul biologique. Aujourd'hui, la recherche neuromorphique est devenue un domaine multidisciplinaire rassemblant des scientifiques de différents domaines et travaillant vers des objectifs différents. Ces dernières années, le neuromorphique a gagné en popularité après l'essor du deep learning, une partie de la communauté informatique s'inspirant de la biologie pour un calcul innovant. L'ingénierie neuromorphique a également attiré de nombreux scientifiques des matériaux à la recherche d'applications pour des dispositifs non conventionnels. Le récent ralentissement de la loi de Moore et les coûts croissants de la mise à niveau des nœuds technologiques ont stimulé l'intérêt pour les stratégies informatiques non conventionnelles. Les algorithmes de réseau de neurones, l'épine dorsale de l'intelligence artificielle, ne sont pas facilement implémentés avec les ordinateurs Von Neumann, et l'informatique en mémoire apparaît comme une architecture alternative prometteuse pour l'intelligence artificielle. Cela forme la tempête parfaite pour un changement de paradigme dans les systèmes informatiques et motive le travail de cette thèse. Cette thèse explore le domaine de l'informatique en mémoire avec des mémoires non volatiles pour les systèmes neuromorphiques. Les Resistive Random Access Memories (RRAM) sont intégrées dans une architecture analogique mettant en œuvre un réseau neuronal. Les techniques de formation modernes dérivées du deep learning libèrent tout le potentiel de l'informatique analogique en mémoire. Une architecture modulaire est proposée pour étendre le système à de grands réseaux graphiques. L'informatique basée sur la RRAM est utilisée pour effectuer efficacement la tâche de localisation avec des signaux auditifs. Un système de détection basé sur des piezoelectric micromachined ultrasound transducers (pMUT) de pointe est couplé à un réseau de neurones bio-inspirés, minimisant la consommation d'énergie. Le calcul en mémoire des RRAM est également appliqué à l'olfaction artificielle, où un réseau d'interféromètres Mach-Zender chimiquement fonctionnalisés implémente un capteur de gaz innovant. L'apprentissage en ligne avec un circuit dédié permet une nouvelle utilisation de l'olfaction artificielle. Les mémoires non volatiles sont également impliquées dans de nouvelles formes de calcul, allant au-delà des schémas conventionnels de neuromorphisme. Les RRAM dotent à la fois les synapses et les neurones de mécanismes de plasticité qui coexistent dans un processus d'apprentissage non supervisé. Inspirés des structures complexes des neurones biologiques, des circuits dendritiques sont proposés, prolongeant les architectures de réseaux existantes constituées de neurones et de synapses. Les circuits dendrites améliorent l'efficacité et l'empreinte mémoire des réseaux de neurones neuromorphiques. Les résultats de cette thèse sont significatifs dans les domaines de l'informatique mémoire et des systèmes neuromorphiques.
Origine | Version validée par le jury (STAR) |
---|