Modeling hippocampal replay in spatial navigation with the theory of reinforcement learning : a neuroscientific and robotic approach - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Modeling hippocampal replay in spatial navigation with the theory of reinforcement learning : a neuroscientific and robotic approach

Modélisation des réactivations hippocampiques en navigation spatiale avec la théorie de l'apprentissage par renforcement : une approche neuroscientifique et robotique

Elisa Massi
  • Fonction : Auteur
  • PersonId : 1328246
  • IdHAL : elisa-massi

Résumé

The experience gained by interacting with the surrounding world is the main mean by which animals and humans learn. The mammalian brain can re-elaborate past experiences and contextually organize them, through neural circuitries which involve the hippocampus. Hippocampal reactivations of place cells seem to exploit experience to infer the outcome of new situations, as it has been studied in rodent spatial navigation experiments. Recently, the Reinforcement Learning (RL) theory has been proved to be very efficient in modeling goal-directed navigation and the contributions of different types of hippocampal replay. However, how it can account for the richness of exploratory behaviors is still a matter of debate. Thus, our first contribution has been designing and validating a data-driven exploration model for rodents. Our first research interest was identifying common behavioral characteristics in rodent free exploration and modeling them as a valued-based decision-making model. Starting from observations and data analyses performed on a new rodent dataset, we propose a parametrized general decision-making model, where decisions are based on the perceived safety of a location and the biomechanical cost and persistence of the animal's exploratory dynamic. Eventually, we validate the adoption of the same model on two new rodent datasets, freely exploring different mazes for different periods, and we discuss future improvements of the model to better adapt it to a wider range of situations. Free exploration represents a particular case of exploratory behavior when no external conditioning emotionally affects the animal. When animals experience positive or negative external stimuli, their exploratory behavior changes. Research studies have shown that hippocampal reactivations represent emotional-related locations more frequently, but there exist very few studies directly addressing this phenomenon following aversive and appetitive stimuli and comparing the mechanisms involved. Our second contribution concerns the extension of the free exploration model to describe these mechanisms. Starting from existing RL models of hippocampal replay, we extended our free exploration model with a component accounting for learned and replayed stimulus valence. Our results can qualitatively reproduce the correlation between the estimated amount of hippocampal replay during sleep and the differential occupancy of the shock zone in post- and pre-conditioning found in the experimental data by our collaborators. Moreover, they raise new interesting experimental predictions concerning the increasing relevance of sleep replay in proper learning the post-conditioning behavior of the animal in negative conditioning, compared to their relevance in the positive conditioning case. Learning goal-directed behaviors is also key in designing adaptive artificial agents and robots. Autonomous robots usually have limited knowledge of the stochastic nature of the real world surrounding them and one of the most powerful sets of online learning algorithms, RL, is often neither responsive enough nor time-efficient for the constraints imposed by real robotic applications. Even before the first neurophysiological studies on hippocampal reactivations, machine learning research proposed mechanisms for experience replay in RL algorithms, to enhance the speed of learning and the adaptability of the already existing algorithms. The last scientific contribution of this thesis concerns a prospective analysis of the possible benefits and disadvantages of different state-of-the-art hippocampal replay-inspired RL algorithms in neurorobotics. Since the impact of different types of replay in neurorobotics scenarios has only recently started to be investigated, we test a model combining different RL replay strategies and test their interaction in different goal-oriented robotic navigation tasks, going from a pure theoretical simulation to a complete robotic experiment.
L'expérience obtenue par les interactions avec le monde qui nous entoure est le principal moyen par lequel les animaux et les humains apprennent. Comme cela a été étudié dans la navigation spatiale chez les rongeurs, le cerveau des mammifères peut réélaborer l'expérience passée de manière contextuelle, grâce aux réactivations des cellules de lieu dans l'hippocampe. Récemment, la théorie de l'apprentissage par renforcement (AR) s'est avérée très efficace dans la modélisation de la navigation dirigée vers un but et des différents types de réactivations de l'hippocampe. Dans cette perspective, notre première contribution scientifique concerne la conception et la validation d'un modèle d'exploration spatiale inspiré par des données comportementales de rongeurs. Nous avons identifié des caractéristiques comportementales communes chez les rongeurs dans un contexte d'exploration libre, et les avons modélisées sous la forme d'un modèle de prise de décision. En exploitant ces données comportementales, nous avons proposé un modèle décisionnel d'exploration général, où la prise de décision repose sur la sécurité perçue d'un lieu dans le labyrinthe et sur le coût et la persistance biomécanique de la dynamique exploratoire de l'animal. Enfin, nous avons validé l'adoption du modèle proposé sur deux nouveaux groupes de données comportementales de rongeurs et nous avons discuté les possibles améliorations futures du modèle pour mieux l'adapter à un plus large éventail de situations. L'exploration libre correspond à un cas particulier du comportement exploratoire, où aucune condition externe n'affecte émotionnellement l'animal. Des recherches antérieures montrent que les réactivations hippocampiques représentent plus fréquemment des lieux à haut contenu émotionnel, mais il existe peu d'études traitant directement de l'apparition de réactivations hippocampiques à la suite d'un évènement aversif ou appétitif et qui comparent les mécanismes impliqués. Pour répondre à ce manque, notre deuxième contribution concerne l'extension du modèle d'exploration libre à la modélisation de ces mécanismes. En s'inspirant des modèles d'AR existants sur les réactivations hippocampiques, nous étendons notre modèle d'exploration libre avec un composant qui décrit la valence apprise et rejouée du conditionnement positif ou négatif. En exploitant des nouveaux données expérimentales, nous avons reproduit qualitativement la corrélation entre la quantité estimée de réactivations hippocampiques pendant le sommeil et l'occupation différentielle de la zone de conditionnement aversif, après et avant le conditionnement. De plus, elles soulèvent de nouvelles prédictions intéressantes, qui concernent la plus grande importance des réactivations pendant le sommeil pour reproduire au mieux le comportement des souris après un conditionnement négatif, plutôt qu'après un conditionnement positif. L'apprentissage des comportements dirigés vers un but est également essentiel dans la conception d'agents artificiels et de robots adaptatifs. En dépit de l'efficacité des méthodes d'AR pour l'apprentissage en ligne, celles-ci ne sont en général pas assez réactives pour répondre aux contraintes de la robotique réelle. De plus, avant même les premières études neurophysiologiques sur les réactivations hippocampiques, la recherche en apprentissage automatique proposait de rejouer l'expérience passée dans l'AR pour améliorer la vitesse d'apprentissage et l'adaptabilité des algorithmes. La dernière contribution scientifique de cette thèse concerne une analyse prospective des avantages et des inconvénients en neurorobotique de différents algorithmes d'AR inspirés par les réactivations hippocampiques. Nous avons proposé un modèle qui combine différentes stratégies de réactivations d'AR et avons testé leurs interactions dans différentes tâches de navigation robotique dirigée vers un but, en partant de simulations purement théoriques jusqu'à arriver à des expériences robotiques complètes.
Fichier principal
Vignette du fichier
MASSI_Elisa_these_2023.pdf (26.12 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04151811 , version 1 (05-07-2023)

Identifiants

  • HAL Id : tel-04151811 , version 1

Citer

Elisa Massi. Modeling hippocampal replay in spatial navigation with the theory of reinforcement learning : a neuroscientific and robotic approach. Neuroscience. Sorbonne Université, 2023. English. ⟨NNT : 2023SORUS123⟩. ⟨tel-04151811⟩
74 Consultations
51 Téléchargements

Partager

Gmail Facebook X LinkedIn More