Study of Electroencephalographic Signal Processing and Classification Techniques towards the use of Brain-Computer Interfaces in Virtual Reality Applications
Résumé
A Brain-Computer Interface (BCI) is a communication system which enables its users to send commands to a computer by using brain activity only, this brain activity being measured, generally by ElectroEncephaloGraphy (EEG), and processed by the system.
In the first part of this thesis, dedicated to EEG signal processing and classification techniques, we aimed at designing interpretable and more efficient BCI. To this end, we first proposed FuRIA, a feature extraction algorithm based on inverse solutions. This algorithm can automatically identify relevant brain regions and frequency bands for classifying mental states. We also proposed and studied the use of Fuzzy Inference Systems (FIS) for classification. Our evaluations showed that FuRIA and FIS could reach state-of-the-art results in terms of classification performances. Moreover, we proposed an algorithm that uses both of them in order to design a fully interpretable BCI system. Finally, we proposed to consider self-paced BCI design as a pattern rejection problem. Our study introduced novel techniques and identified the most appropriate classifiers and rejection techniques for self-paced BCI design.
In the second part of this thesis, we focused on designing virtual reality (VR) applications controlled by a BCI. First, we studied the performances and preferences of participants who interacted with an entertaining VR application, thanks to a self-paced BCI. Our results stressed the need to use subject-specific BCI as well as the importance of the visual feedback. Then, we developed a VR application which enables a user to explore a virtual museum by using thoughts only. In order to do so, we designed a self-paced BCI and proposed an interaction technique which enables the user to send high-level commands. Our first evaluation suggested that a user could explore the museum faster with this interaction technique than with current techniques.
In the first part of this thesis, dedicated to EEG signal processing and classification techniques, we aimed at designing interpretable and more efficient BCI. To this end, we first proposed FuRIA, a feature extraction algorithm based on inverse solutions. This algorithm can automatically identify relevant brain regions and frequency bands for classifying mental states. We also proposed and studied the use of Fuzzy Inference Systems (FIS) for classification. Our evaluations showed that FuRIA and FIS could reach state-of-the-art results in terms of classification performances. Moreover, we proposed an algorithm that uses both of them in order to design a fully interpretable BCI system. Finally, we proposed to consider self-paced BCI design as a pattern rejection problem. Our study introduced novel techniques and identified the most appropriate classifiers and rejection techniques for self-paced BCI design.
In the second part of this thesis, we focused on designing virtual reality (VR) applications controlled by a BCI. First, we studied the performances and preferences of participants who interacted with an entertaining VR application, thanks to a self-paced BCI. Our results stressed the need to use subject-specific BCI as well as the importance of the visual feedback. Then, we developed a VR application which enables a user to explore a virtual museum by using thoughts only. In order to do so, we designed a self-paced BCI and proposed an interaction technique which enables the user to send high-level commands. Our first evaluation suggested that a user could explore the museum faster with this interaction technique than with current techniques.
Une Interface Cerveau-Ordinateur (ICO) est un système de communication qui permet à ses utilisateurs d'envoyer des commandes à un ordinateur via leur activité cérébrale, cette activité étant mesurée, généralement par ÉlectroEncéphaloGraphie (EEG), et traitée par le système. Dans la première partie de cette thèse, dédiée au traitement et à la classification des signaux EEG, nous avons cherché à concevoir des ICOs interprétables et plus efficaces. Pour ce faire, nous avons tout d'abord proposé FuRIA, un algorithme d'extraction de caractéris- tiques utilisant les solutions inverses. Nous avons également proposé et étudié l'utilisation des Systèmes d'Inférences Flous (SIF) pour la classification. Nos évaluations ont montré que FuRIA et les SIF pouvaient obtenir de très bonnes performances de classification. De plus, nous avons proposé une méthode utilisant ces deux algorithmes afin de concevoir une ICO complétement interprétable. Enfin, nous avons proposé de considérer la conception d'ICOs asynchrones comme un problème de rejet de motifs. Notre étude a introduit de nouvelles techniques et a permis d'identifier les classifieurs et les techniques de rejet les plus appropriés pour ce problème. Dans la deuxième partie de cette thèse, nous avons cherché à concevoir des applications de Réalité Virtuelle (RV) controlées par une ICO. Nous avons tout d'abord étudié les performances et les préférences de participants qui interagissaient avec une application ludique de RV à l'aide d'une ICO asynchrone. Nos résultats ont mis en évidence le besoin d'utiliser des ICO adaptées à l'utilisateur ainsi que l'importance du retour visuel. Enfin, nous avons développé une application de RV permettant à un utilisateur d'explorer un musée virtuel par la pensée. Dans ce but, nous avons conçu une ICO asynchrone et proposé une nouvelle technique d'interaction permettant à l'utilisateur d'envoyer des commandes de haut niveau. Une première évaluation semble montrer que l'utilisateur peut explorer le musée plus rapidement avec cette technique qu'avec les techniques actuelles.