Low-rank network models of neural computations - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Low-rank network models of neural computations

Réseaux de neurones de bas rang et calculs neuronaux

Résumé

At every instant, myriads of neurons collaborate in a nervous system, generating collective patterns of activity that form a biological substrate for perception, cognition, and behavior. Recent in vivo recordings of hundreds or thousands of neurons in awake animals suggest that this activity patterns form specific geometries, known as low-dimensional, from which mental representations can be extracted. Hence, an influential contemporary paradigm in systems neuroscience posits that neural computations emerge from the collective dynamics of networks of neurons which generate low-dimensional activity patterns visible at the population level. Understanding how the structure of a network impacts its dynamics and ultimately its function remains an important open question, both for artificial and biological neural systems. A promising direction to illuminate this question is to study recurrent networks whose connectivity is constrained to be low-rank. This particular mathematical property has been previously shown to directly induce low-dimensional dynamics in a network, as those observed in artificial and biological systems. Can thus low-rank networks help us “open the black-box” of recurrent computations? Can they reveal the links between network structure and function? Can they generate hypotheses and insights from neural recordings? This thesis aims at answering those questions, by developing new methods to train low-rank RNNs, and a new theory that links a statistical description of network structure to its dynamics and function. We will start by exposing our theory and methods, showing how low-rank matrices link structure and computations in a recurrent network. We will then dissect low-rank networks trained to perform a range of cognitive tasks, obtaining mechanistic insights from their trained connectivity. We will then relate the low-rank RNN model class to a set of methods widely used to interpret neural recordings, the latent dynamical system models. Finally, we will demonstrate the capabilities of low-rank RNNs to probe the computational mechanisms in unconstrained, full-rank RNNs, and to interpret in vivo cortical recordings.
À tout instant, des myriades de neurones coopèrent au sein d’un système nerveux, produisant des motifs d’activité collectifs qui forment un substrat biologique pour la perception, la cognition, et le comportement. Les enregistrements in vivo de centaines voire milliers de neurones chez l’animal suggèrent que ces motifs d’activité s’organisent souvent selon des géométries particulières, dites à basse dimensionnalité, à partir desquelles les représentations mentales peuvent être extraites. Ainsi, un paradigme actuel influent en neurosciences postule que les fonctions cognitives émergent à partir des dynamiques de réseaux de neurones dont l’activité forme des motifs de basse dimensionnalité. Une question essentielle qui demeure est de comprendre comment la structure d’un réseau neuronal génère ces dynamiques particulières de l’activité collective liées à sa fonction. Une voie prometteuse pour éclairer cette question consiste à étudier des réseaux récurrents dont les connexions sont organisées dans une matrice de bas-rang. Il a été montré précédemment que cette propriété mathématique du réseau y induit naturellement des dynamiques de basse dimensionnalité qui encodent des représentations utiles, telles qu’observées dans les expériences sur réseaux biologiques et artificiels. De tels réseaux de bas-rang peuvent-ils alors nous permettre d’ouvrir la « boîte noire » des réseaux récurrents, et de comprendre comment leur fonctionnalité émerge de leur structure ? Et peuvent-ils s’appliquer à des enregistrements de neurones biologiques, afin d’en extraire des hypothèses sur la structure sous-jacente des réseaux observés ? Cette thèse vise à répondre à ces questions, à travers de nouvelles méthodes pour entraîner les réseaux de bas-rang, ainsi qu’à travers une nouvelle théorie qui relie une description statistique de ces réseaux à leurs dynamiques et leur fonction. Nous allons dans un premier temps exposer notre théorie et nos méthodes, expliquant comment les matrices de bas-rang nous permettent de relier structure et fonction dans un réseau récurrent. Nous allons ensuite étudier des réseaux entraînés à réaliser de nombreuses tâches cognitives, construisant une compréhension systémique de leur fonctionnement. Ces réseaux de bas-rang seront ensuite reliés à une classe de méthodes statistiques communes dans l’interprétation d’enregistrements neuronaux, les systèmes dynamiques latents. Pour terminer, nous démontrerons les capacités des réseaux de bas-rang pour disséquer le fonctionnement de réseaux artificiels récurrents non-contraints, ainsi que pour interpréter des enregistrements corticaux in vivo.
Fichier principal
Vignette du fichier
Valente_2022_These.pdf (59.5 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04638666 , version 1 (08-07-2024)

Identifiants

  • HAL Id : tel-04638666 , version 1

Citer

Adrian Valente. Low-rank network models of neural computations. Neuroscience. Université Paris sciences et lettres, 2022. English. ⟨NNT : 2022UPSLE057⟩. ⟨tel-04638666⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More