Encoding and decoding of information through efficient neural representations - TEL - Thèses en ligne
Thèse Année : 2022

Encoding and decoding of information through efficient neural representations

Encodage et décodage de l'information par des représentations neuronales efficaces

Résumé

In this thesis, we investigate the principles which underlie optimal information coding in neural systems, by combining models from information theory and machine learning with experimental data analysis. Much of the theoretical work on efficient coding has focused on neurons whose mean response as a function of stimulus features–the neuron’s tuning curve–can be described by a simple function. Real neurons, however, often exhibit more complex tuning curves: in grid cells, for example, the periodicity of the responses imparts the population code with high accuracy. It is unclear if the high accuracy results from the fine periodic structure of the responses or obtains more generally in neurons with complex tuning curves. In a first project, we address this question with the use of a benchmark model: a shallow neural network in which complex and irregular tuning curves emerge in the second layer neurons due to random synaptic weights. Irregularity enhances the local resolution of the code but gives rise to catastrophic, global errors. When balancing these two errors, the resulting code achieves exponential accuracy as a function of the population size, and the network compresses information from a high-dimensional to a low-dimensional representation. By analyzing recordings from monkey motor cortex, we provide an example of such ‘compressed’ code. Our results show that efficient codes might not need a finely tuned design, but they emerge robustly from randomness and irregularity. In the first chapter, the population coding properties are derived under the assumption of an ‘ideal’ decoder, which has access to details of the encoding process. In the second chapter we ask how optimality criteria of such a neural code are affected when the system performing the decoding operation is non-ideal. We consider decoders parametrized as neural networks, trained in a supervised setting on a dataset of pairs of stimuli and noisy responses. Due to the noise in the training set, the decoder is biased towards learning smooth and regular functions. This yields a gap in the performance as compared to the ideal decoder, which achieves a lower error by exploiting the irregularities of the tuning curves. This gap is reduced when the complexity of the decoding architecture is increased, revealing a trade-off between the ideal performance of a coding scheme and the ease of the decoding process. In a third project, we consider the neural representations which emerge in an unsupervised learning setting. An encoder, which maps stimuli to neural responses, and a decoder, whose task is to maintain an internal generative model of the environment, are optimized jointly, in a variational autoencoder framework. Optimality is achieved when the encoder is set so as to maximize a bound to the mutual information between stimuli and neural responses, as postulated by the efficient coding hypothesis, subject to a metabolic constraint which penalizes the difference between stimulus-evoked and spontaneous neural activity. We derive optimal neural responses in a conventional model of population coding with simple tuning curves according to this framework. By varying the constraint, we obtain a family of solutions which yield equally satisfying generative models, but qualitatively different neural representations. Our work illustrate how the interaction between the encoding and the decoding process shape neural representation of the external world.
Au cours de cette thèse, nous étudions les principes qui sous-tendent le codage optimal de l’information dans les systèmes neuronaux, en combinant des modèles issus de la théorie de l’information et de l’apprentissage machine et l’analyse de données expérimentales. Une grande partie des travaux théoriques sur le codage efficace s’est concentrée sur les neurones dont la réponse moyenne en fonction du stimulus — la courbe de réponse – peut être décrite par une fonction simple. Néanmoins, les neurones présentent souvent des courbes de réponse plus complexes : dans les cellules de grille, par exemple, la périodicité des réponses confère au codage de la population une grande précision. Il n’est pas clair si la haute précision résulte de la structure périodique des réponses ou s’obtient plus généralement dans les neurones avec des courbes de réponse complexes. Dans un premier projet, nous abordons cette question avec l’utilisation d’un modèle théorique : un réseau neuronal dans lequel des courbes de réponse complexes et irrégulières émergent dans les neurones de la deuxième couche en raison de poids synaptiques aléatoires. L’irrégularité améliore la résolution locale du code, mais donne lieu à des erreurs globales catastrophiques. Lors de l’équilibrage de ces deux erreurs, le code résultant atteint une précision exponentielle en fonction du nombre des neurones et le réseau comprime l’information d’une représentation de haute dimension en basse dimension. En analysant les enregistrements du cortex moteur du singe, nous fournissons un exemple d’un tel code ‘compressé’. Nos résultats montrent que les codes efficaces n’ont peut-être pas besoin d’une structure finement réglée, mais ils émergent de manière robuste du caractère aléatoire des réseaux de neurones. Dans le premier chapitre, les propriétés de codage de la population sont calculées sous l’hypothèse d’un décodeur idéal. Dans le deuxième chapitre, nous nous demandons comment les critères d’optimalité d’un tel code neuronal sont affectés lorsque le circuit effectuant le décodage n’est pas idéal. Nous considérons des décodeurs paramétrés comme des réseaux de neurones, entraînés de manière supervisée sur un jeu de données limité d’exemples de paires stimulus réponse. En raison du bruit dans les données d’entraînement, le réseau est biaisé vers l’apprentissage de fonctions lisses et régulières. Cela donne un écart de performances par rapport au décodeur idéal, qui obtient une erreur plus faible en exploitant les irrégularités des courbes de réponse. Cet écart est réduit lorsque la complexité de l’architecture de décodage est augmentée, révélant un compromis entre l’efficacité de l’encodage et la facilité du décodage. Dans un troisième projet, nous considérons les représentations neuronales qui émergent au cours de l’apprentissage non supervisé. Un encodeur, qui associe les stimuli aux réponses neuronales, et un décodeur, dont la tâche est de maintenir un modèle génératif interne de l’environnement, sont optimisés conjointement, dans un cadre d’auto-encodeur variationnel. L’optimalité est atteinte lorsque l’encodeur est réglé de manière à maximiser une limite à l’information mutuelle entre les stimuli et les réponses neuronales, comme postulé par l’hypothèse de codage efficace, sous réserve d’une contrainte métabolique qui pénalise la différence entre l’activité neuronale induite par un stimulus et l’activité neuronale spontanée. Nous calculons des réponses neuronales optimales dans un modèle conventionnel de codage de population avec des courbes de réponse simples selon ce cadre. En faisant varier la contrainte, on obtient une famille de solutions qui donnent des modèles génératifs tout aussi satisfaisants, mais des représentations neuronales qualitativement différentes. Nos travaux illustrent comment l’interaction entre le processus d’encodage et de décodage façonne la représentation neuronale du monde extérieur.
Fichier principal
Vignette du fichier
Blanco_Malerba_2022_These.pdf (7.56 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04639048 , version 1 (08-07-2024)

Identifiants

  • HAL Id : tel-04639048 , version 1

Citer

Simone Blanco Malerba. Encoding and decoding of information through efficient neural representations. Physics [physics]. Université Paris sciences et lettres, 2022. English. ⟨NNT : 2022UPSLE058⟩. ⟨tel-04639048⟩
49 Consultations
30 Téléchargements

Partager

More