Topologies en perception multimodale neuro-inspirée : apprentissage, fusion, prise de décision - TEL - Thèses en ligne
Thèse Année : 2022

Topologies in neuro-inspired multimodal perception : learning, merging, decision-making

Topologies en perception multimodale neuro-inspirée : apprentissage, fusion, prise de décision

Résumé

This thesis focuses on multimodal merging on simulated topologies for use in an active perception context. As an example, humans receive dense information from multiple sensors and use various mechanisms to select and attend to only the relevant signals, for example by moving their eyes towards a target to see it better. Because of irregularities in sensory topologies (cf.\ fovea), actions can enhance perception, while extracting and merging data also helps choosing the best course of action. Similar needs are faced by artificial systems, e.g.\ social robots, albeit with their own set of physical constraints. This thesis proposes computational models for use in AI, taking inspiration from neuroscience case studies such as the superior colliculus, a subcortical structure involved in generating saccadic eye movements towards visual, auditory or multisensory stimuli.When selecting information from multiple signals in a dynamic and multimodal setting, one needs a way to compute robust and reliable decisions. Decision-making in general has been tackled in either psychophysics or robotics using many different algorithms. One contribution of this thesis is to review and compare these algorithms, underlining their spatio-temporal properties, including feature merging, selective attention, etc. Among these models, dynamic neural fields (DNF) display some very interesting characteristics, including selective attention and data fusion depending on stimulus distance and precision. In another contribution, this thesis then makes use of DNF as a signal filtering and merging tool applied to multimodal fusion. This thesis shows how it can apply to model realistically occurences of the ventriloquist effect, a psychophysical effect of audio/visual stimulus localization capture. Then, in order to further study the role of topologies on these cognitive tasks, a final contribution shows that DNF retain their properties in irregular learned topological maps. In this experience, topologies are learnt via growing neural gas in order to extract intrinsic dimensions of the sensory space, but new perspectives, with deeper models, are suggested for application in active perception and embodied cognition.
Cette thèse porte sur la fusion multimodale sur des topologies artificielles dans un contexte de perception active. À titre d'exemple, les humains reçoivent des informations denses provenant de multiples capteurs et utilisent divers mécanismes pour sélectionner et se concentrer sur les signaux pertinents uniquement, par exemple en déplaçant le regard vers un objet pour mieux le voir. En raison des irrégularités dans les topologies sensorielles (cf. fovéa), les actions peuvent améliorer la perception, tandis que l'extraction et la fusion de données aident également à choisir le meilleur plan d'action. Les systèmes artificiels, par exemple les robots sociaux, font face à des besoins similaires, malgré un ensemble de contraintes physiques qui leur est propre. Cette thèse propose des modèles computationnels pour l'IA, en s'inspirant d'études de cas en neurosciences comme le colliculus supérieur, une structure sous-corticale impliquée dans la génération de saccades vers des stimuli visuels, auditifs ou multisensoriels. Pour sélectionner des informations à partir de signaux multiples dans un contexte dynamique et multimodal, il faut trouver un moyen de générer des décisions fiables et robustes. La prise de décision en général a été abordée à la fois en psychophysique et en robotique, via de nombreux algorithmes différents. Une des contributions de cette thèse est de passer en revue et comparer ces algorithmes, en soulignant leurs propriétés spatio-temporelles, y compris la fusion, l'attention sélective, la mémoire, etc. Parmi ces modèles, les champs neuronaux dynamiques (DNF) présentent des caractéristiques très intéressantes, notamment l'attention et la fusion de données en fonction de la distance et de la précision des stimuli. Dans une autre contribution, cette thèse utilise ensuite le DNF comme un outil de filtrage et de fusion de signaux appliqué à la fusion multimodale. Cette thèse montre comment il peut s'appliquer pour modéliser de manière réaliste des occurrences de l'effet ventriloque, un effet psychophysique de capture de localisation de stimuli audio/visuels. Puis, afin d'étudier plus en détail le rôle des topologies sur ces tâches cognitives, une dernière contribution montre que les DNF conservent leurs propriétés dans des cartes topologiques irrégulières apprises artificiellement. Dans cette expérience, les topologies sont apprises via un gaz neuronal croissant afin d'extraire les dimensions intrinsèques de l'espace sensoriel, mais de nouvelles perspectives, avec des modèles plus profonds, sont suggérées pour une application dans la perception active et la cognition incarnée.
Fichier principal
Vignette du fichier
TH2022FORESTSIMON.pdf (10.28 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04069497 , version 1 (14-04-2023)

Identifiants

  • HAL Id : tel-04069497 , version 1

Citer

Simon Forest. Topologies en perception multimodale neuro-inspirée : apprentissage, fusion, prise de décision. Intelligence artificielle [cs.AI]. Université Claude Bernard - Lyon I, 2022. Français. ⟨NNT : 2022LYO10031⟩. ⟨tel-04069497⟩
116 Consultations
144 Téléchargements

Partager

More