The study of attentional processes involved during the exploration of natural scenes : joint registration of eye movements and EEG activity
Etude des processus attentionnels mis en jeu lors de l'exploration de scènes naturelles : enregistrement conjoint des mouvements oculaires et de l'activité EEG
Résumé
In everyday life, when we explored the word, we moved continually our eyes. We focus your gaze successively on different location of the visual field, in order to get the visual information. In this way, our eyes became stable on two or three different regions per second, during period called fixation. Between two fixations, we make fast movements of the eyes to move our gaze to another position; it was called saccade. Eye movements are closely linked to attention. What are the attentional processes involved during scene exploration? How factors related to the scene or the task modify the parameters of eye movements? How these changes evolve during the exploration? In the thesis, we proposed to jointly analyze eye movements and electroencephalographic (EEG) data to better understand attentional processes involved during the processing of the visual information acquired during the exploration of scenes. We focused on low and high level factors. Low level factors corresponded to the visual information included in the scene and high level factors corresponded to the instruction give to observers. In a first study, we considered high level factors by manipulating the instructions for observers. We chose four tasks: free-exploration, categorization, visual search and spatial organization. These tasks were chosen because they involved different visual information processing and can be classified by level of difficulty or attentional demands. In a second study, we focused on the visual search task and on the influence of a time constraint. Finally, in a third study, we considered low level factors by analyzing the influence of a distractor disturbing the free-exploration of scenes. For the two first experiments, we jointly recorded eye movements and EEG signals of a large number of observers. The joint analysis of EEG and eye movement data takes advantage of the two methods. Eye tracking allowed to access to eye movements parameters and therefore to the visual attention deployment. It allowed knowing when and where the regions of the scene were gazed at. EEG allowed to access to differences on attentional processes depending on the experimental condition, with a high temporal resolution. We found differences between tasks for evoked potentials elicited by the scene onset and by fixations along the exploration. Furthermore, we demonstrated a strong link between the global EEG activity observed over frontal regions and fixation durations but also markers of the solving of the task on evoked potentials elicited by fixations of interest. Therefore, joint analysis of EEG and eye movement data allowed to report different processes related to attentional demanding.
Dans la vie de tous les jours, lorsque nous regardons le monde qui nous entoure, nous bougeons constamment nos yeux. Notre regard se porte successivement sur différents endroits du champ visuel afin de capter l'information visuelle. Ainsi, nos yeux se stabilisent sur deux à trois régions différentes par seconde pendant des périodes appelées fixations. Entre deux fixations, nous réalisons des mouvements rapides des yeux pour déplacer notre regard vers une autre région ; on parle de saccades oculaires. Ces mouvements oculaires sont étroitement liés à l'attention. Quels sont les processus attentionnels mis en jeu lors de l'exploration de scènes ? Comment les facteurs liés à la scène ou à la consigne donnée pour l'exploration modifient-ils les paramètres des mouvements oculaires ? Comment ces modifications évoluent-elles au cours de l'exploration ? Dans cette thèse, nous proposons d'analyser conjointement les données oculométriques et électroencéphalographiques (EEG) pour mieux comprendre les processus attentionnels impliqués dans le traitement de l'information visuelle acquise pendant l'exploration de scènes. Nous étudions à la fois l'influence de facteurs de bas niveau, c'est-à-dire l'information visuelle contenue dans la scène et de haut niveau, c'est-à-dire la consigne donnée aux observateurs. Dans une première étude, nous avons considéré les facteurs de haut niveau à travers la modulation de la tâche à réaliser pour l'exploration des scènes. Nous avons choisi quatre tâches : l'exploration libre, la catégorisation, la recherche visuelle et l'organisation spatiale. Ces tâches ont été choisies car elles impliquent des traitements de l'information visuelle de nature différente et peuvent être classées en fonction de leur niveau de difficulté ou de demande attentionnelle. Dans une seconde étude, nous nous sommes focalisées plus particulièrement sur la recherche visuelle et l'influence de la contrainte temporelle. Enfin, dans une troisième étude, nous considérons les facteurs de bas niveau à travers l'influence d'un distracteur visuel perturbant l'exploration libre. Pour les deux premières études, nous avons enregistré conjointement les mouvements oculaires et les signaux EEG d'un grand nombre de sujets. L'analyse conjointe des signaux EEG et oculométriques permet de tirer profit des deux méthodes. L'oculométrie permet d'accéder aux mouvements oculaires et donc au déploiement de l'attention visuelle sur la scène. Elle permet de connaitre à quel moment et quels endroits de la scène sont regardés. L'EEG permet, avec une grande résolution temporelle, de mettre en avant des différences dans les processus attentionnels selon la condition expérimentale. Ainsi, nous avons montré des différences entre les tâches au niveau des potentiels évoqués par l'apparition de la scène et pour les fixations au cours de l'exploration. De plus, nous avons mis en évidence un lien fort entre le niveau global de l'activité EEG observée sur les régions frontales et les durées de fixation mais aussi des marqueurs de résolution de la tâche au niveau des potentiels évoqués liés à des fixations d'intérêt. L'analyse conjointe des données EEG et oculométriques permet donc de rendre compte des différences de traitement liées à différentes demandes attentionnelles.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...