Nonlinear encoding of sounds in the auditory cortex - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2018

Nonlinear encoding of sounds in the auditory cortex

Encodage non linéaire des sons par le système auditif

Résumé

Perceptual objects are the elementary units used by the brain to construct an inner world representation of the environment from multiple physical sources, like light or sound waves. While the physical signals are first encoded by receptors in peripheral organs into neuroelectric signals, the emergence of perceptual object require extensive processing in the central nervous system which is not yet fully characterized. Interestingly, recent advances in deep learning shows that implementing series of nonlinear and linear operations is a very efficient way to create models that categorize visual and auditory perceptual objects similarly to humans. In contrast, most of the current knowledge about the auditory system concentrates on linear transformations. In order to establish a clear example of the contribution of auditory system nonlinearities to perception, we studied the encoding of sounds with an increasing intensity (up ramps) and a decreasing intensity (down ramps) in the mouse auditory cortex. Two behavioral tasks showed evidence that these two sounds are perceived with unequal salience despite carrying the same physical energy and spectral content, a phenomenon incompatible with linear processing. Recording the activity of large cortical populations for up- and down-ramping sounds, we found that cortex encodes them into distinct sets of non-linear features, and that asymmetric feature selection explained the perceptual asymmetry. To complement these results, we also showed that, in reinforcement learning models, the amount of neural activity triggered by a stimulus (e.g. a sound) impacts learning speed and strategy. Interestingly very similar effects were observed in sound discrimination behavior and could be explain by the amount of cortical activity triggered by the discriminated sounds. This altogether establishes that auditory system nonlinearities have an impact on perception and behavior. To more extensively identify the nonlinearities that influence sounds encoding, we then recorded the activity of around 60,000 neurons sampling the entire horizontal extent of auditory cortex. Beyond the fine scale tonotopic organization uncovered with this dataset, we identified and quantified 7 nonlinearities. We found interestingly that different nonlinearities can interact with each other in a non-trivial manner. The knowledge of these interactions carry good promises to refine auditory processing model. Finally, we wondered if the nonlinear processes are also important for multisensory integration. We measured how visual inputs and sounds combine in the visual and auditory cortex using calcium imaging in mice. We found no modulation of supragranular auditory cortex in response to visual stimuli, as observed in previous others studies. We observed that auditory cortex inputs to visual cortex affect visual responses concomitant to a sound. Interestingly, we found that auditory cortex projections to visual cortex preferentially channel activity from neurons encoding a particular non-linear feature: the loud onset of sudden sounds. As a result, visual cortex activity for an image combined with a loud sound is higher than for the image alone or combine with a quiet sound. Moreover, this boosting effect is highly nonlinear. This result suggests that loud sound onsets are behaviorally relevant in the visual system, possibly to indicate the presence of a new perceptual objects in the visual field, which could represent potential threats. As a conclusion, our results show that nonlinearities are ubiquitous in sound processing by the brain and also play a role in the integration of auditory information with visual information. In addition, it is not only crucial to account for these nonlinearities to understand how perceptual representations are formed but also to predict how these representations impact behavior.
Les objets perceptuels sont les unités élémentaires utilisées par le cerveau pour construire une représentation interne du monde a partir de signaux physiques, comme la lumière ou les ondes sonores. Alors que ces signaux sont d'abord traduit, par les récepteurs dans les organes périphériques, en signaux neuronaux, l'émergence d'objets perceptuels nécessite un traitement intensif dans le système nerveux central qui n'est pas encore entièrement connu. Il est intéressant de noter que les progrès récents de deep learning montrent qu'une séries d'opérations non linéaires et linéaires est très efficace pour catégoriser les objets perceptuels visuels et auditifs de la même manière que les humains. En revanche, la plupart des connaissances actuelles sur le système auditif se concentrent sur les transformations linéaires. Afin de comprendre la contribution des non-linéarités du système auditif à la perception, nous avons étudié l'encodage des sons avec une intensité croissante et une intensité décroissante dans le cortex auditif de la souris. Ces deux sons sont perçus avec une importance inégale malgré le fait qu'ils ont la même énergie physique et le même contenu spectral, un phénomène incompatible avec le traitement linéaire. En enregistrant l'activité de grandes populations corticales pour les sons montants et descendants, nous avons constaté que le cortex les encode avec des populations distinctes qui détectent des caractéristiques non linéaires, ce qui explique l'asymétrie perceptuelle. Nous avons également montré que, dans les modèles de reinforcement learning, la quantité d'activité neuronale déclenchée par un son impacte la vitesse et la stratégie d'apprentissage. Des effets très similaires ont été observés dans plusieurs taches de discrimination ou les sons provoquaient des réponses neuronales de différentes intensités. Ceci établit que les non-linéarités du système auditif ont un impact sur la perception et le comportement. Pour mieux identifier les non-linéarités qui influencent le codage des sons, nous avons ensuite enregistré l'activité d'environ 60 000 neurones échantillonnant toute la superficie du cortex auditif. Au-delà de l'organisation tonotopique à fine échelle découverte avec cet ensemble de données, nous avons identifié et quantifié 7 non-linéarités. Il est aussi intéressant de constater que différentes non-linéarités peuvent interagir entre elles d'une manière non triviale. La connaissance de ces interactions est importante pour affiner le modèle de traitement auditif. Enfin, nous nous sommes demandé si les processus non linéaires sont également importants pour l'intégration multisensorielle. Nous avons mesuré, par imagerie calcique, comment les images et les sons se combinent dans le cortex visuel et auditif. Nous n'avons trouvé aucune modulation du cortex auditif (L2/3) en réponse à des stimuli visuels. Nous avons observé que les entrées du cortex auditif dans le cortex visuel affectent les réponses visuelles concomitantes à un son. Nous avons constaté que les projections du cortex auditif au cortex visuel encode de préférence une caractéristique non linéaire particulière : l'apparition soudaine de sons fort. Par conséquent, l'activité du cortex visuel pour une image et un son fort est plus élevée que pour l'image seule ou combinée à un son faible. Ce résultat suggère que les sons forts sont pertinents du point de vue de comportement multisensoriel, peut-être pour indiquer la présence de nouveaux objets dans le champ visuel, ce qui pourrait représenter des menaces potentielles. En conclusion, nos résultats montrent que les non-linéarités sont omniprésentes dans le traitement du son par le cerveau et jouent également un rôle dans l'intégration de l'information auditive avec l'information visuelle. Il est non seulement crucial de tenir compte de ces non-linéarités pour comprendre comment se forment les représentations perceptuelles, mais aussi pour prédire l'impact de ces représentations sur le comportement.
Fichier principal
Vignette du fichier
va_Kempf_Alexandre.pdf (43.16 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)
Loading...

Dates et versions

tel-02512196 , version 1 (19-03-2020)

Identifiants

  • HAL Id : tel-02512196 , version 1

Citer

Alexandre Kempf. Nonlinear encoding of sounds in the auditory cortex. Neurons and Cognition [q-bio.NC]. Université Sorbonne Paris Cité, 2018. English. ⟨NNT : 2018USPCB085⟩. ⟨tel-02512196⟩
105 Consultations
43 Téléchargements

Partager

Gmail Facebook X LinkedIn More