Emotion recognition and brain activity synchronization across individuals - TEL - Thèses en ligne Access content directly
Theses Year : 2018

Emotion recognition and brain activity synchronization across individuals

Reconnaissance d'émotion et synchronisation d'activité cérébrale entre individus

Abstract

Affective computing needs a better understanding of human emotion elicitation. Most contributions use modalities such as speech or facila expressions, that are limited by their alterability. Physiological signals such as EEG (electro-encephalography) are an interesting alaternative. EEG can reveal macroscopically invisible emotional states, and have already proved to be efficient in emotion classification. This thesis falls within this context. EEG signals are analysed in the time-frequency domain. Such signals are recorded from participants while they watch video excerpts which provoke different emotions. Variants of the Nonnegative Matrix Factorization (NMF) method are used. This method can decompose an EEG spectrogram into a product of two matrices : a dictionary of frequential atoms and an activation matrix. The focus is made on a variant named Group NMF. In this thesis, we also study Inter-Subject Correlation (ISC), which measures the correlation of EEG signals of two subjects exposed to the same stimuli. The idea is to link the ISC level to the nature of the elicited emotion. Understanding the link between ISC and the elicited emotion then allows to design Group NMF methods that are adapated to EEG-based emotion recognition.
Le développement de l’informatique affective nécessite une bonne compréhension de l’élicitation d’émotion chez l’Homme. La plupart des contributions en ce sens utilisent des modalités comme la voix ou les expressions faciales, limitées par leur altérabilité. Les signaux physiologiques tels que les signaux EEG (électro-encéphalographiques) sont une alternative intéressante. L’EEG peut révéler des états émotionnels macroscopiquement invisibles. Les signaux EEG se sont déjà avérés précieux en classification d’émotion. C’est dans ce cadre que s’inscrit cette thèse. J’analyse des signaux EEG dans le domaine temps-fréquence, signaux prélevés de participants pendant qu’ils regardent des extraits vidéo provoquant chez eux des émotions différentes. Des variantes d’une technique de décomposition matricielle appelée NMF (Nonnegative Matrix Factorization) sont utilisées. Celle-ci décompose un spectrogramme d’EEG en le produit de deux matrices : un "dictionnaire" d’atomes fréquentiels et une matrice d’activation de ces atomes au cours du temps. Nous nous intéressons particulièrement à la NMF par groupe. Cette thèse s'intéresse aussi à l'ISC (Inter Subject Correlation), qui mesure la corrélation entre les signaux EEG de deux sujets. L’idée est de mesurer l’ISC entre deux sujets exposés à un même stimulus vidéo, et de lier le niveau d’ISC à la nature de l’émotion élicitée (selon deux axes valences/arousal qui caractérisent respectivement l’appréciation et l’intensité de l’émotion). Comprendre le lien entre émotion ressentie et ISC permet ensuite de perfectionner des méthodes de Group NMF adaptées au problème de la reconnaissance d’émotion.
Fichier principal
Vignette du fichier
HAJLAOUI_Ayoub_2018.pdf (3.43 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03682016 , version 1 (30-05-2022)

Identifiers

  • HAL Id : tel-03682016 , version 1

Cite

Ayoub Hajlaoui. Emotion recognition and brain activity synchronization across individuals. Robotics [cs.RO]. Sorbonne Université, 2018. English. ⟨NNT : 2018SORUS623⟩. ⟨tel-03682016⟩
119 View
88 Download

Share

Gmail Facebook X LinkedIn More