Design and evaluation of a multimodal control of a robotic arm with a Brain Computer Interface - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Design and evaluation of a multimodal control of a robotic arm with a Brain Computer Interface

Conception et évaluation d'un contrôle multimodal d'un bras robotique avec une interface cerveau-ordinateur

Résumé

Brain-machine interfaces (BMIs) left the realm of science fiction in the 1970s with Jacques Vidal's reflection on the feasibility of using electroencephalogram signals as a means of communication between the brain and external devices. During the development of this research field, various approaches have been explored to create a true interface between the brain and a machine. The methods of data acquisition have taken different forms, and with the improvement of computer capabilities and the advent of machine learning, methods to classify brain data have become more refined, capable of capturing complex information from brain data. A promising avenue to assist patients lies in the rehabilitation process following a stroke. By performing movements or providing feedback to patients about their brain activity, it is possible to help their brains adapt to neuronal deficits and aid them in overcoming their impairments. In this context, BMIs act as a support, like crutches, during the rehabilitation period. However, in this context, one challenge is to create differentiable brain patterns at the EEG level. To create these patterns, cognitive tasks that modify brain activity profiles are relied upon. One such task is motor imagery of limb movements, where subjects imagine movements without executing them. This particular task is unfamiliar to many and thus becomes complex to execute. One way to assist subjects in performing it is to provide evocative feedback in the BMI context, such as a robotic arm. Nurturing a sense of control over the arm and its movements helps elicit more differentiable brain patterns. Nevertheless, due to current limitations in the degree of control permitted by BMI systems, full control of a robotic arm is not yet possible. A solution is to couple the BMI with another technology to increase the degree of control and reinforce subjects' sense of agency over the arm. Among the technologies offering insights into subjects' intentions without requiring movement, the eye tracker appears to be an elegant solution. The integration of these two components creates a hybrid BCI system capable of intuitively controlling the arm. This hybridization has been demonstrated as a proof of concept in the BMI field, but the impact of integrating these modalities on the brain remains to be studied. A better understanding of how to shape the interaction between the eye tracker, BMI, and robotic arm would shed light on why good performances are obtained and how to elicit these discriminant brain patterns. The work in this thesis focused on creating an experimental platform that intertwines these different modalities to establish robust control over the arm. Through an experimental protocol, we assessed how to define the interaction through in-depth analysis, covering the system's pure performance and the physiological and neurophysiological responses of subjects. We found that consistency is crucial in the interaction, and we demonstrated the importance of movement in eliciting brain responses in this particular context. Our work paves the way for a better understanding of the brain's dynamics in controlling external devices in a multimodal setup. Additionally, we propose a new framework for controlling a robotic arm using a hybrid BCI. The thesis is structured into five chapters, covering the overall context of BMIs, the development of the experimental platform, the results from the experimental protocol and their discussion, and finally, a general conclusion.
Les interfaces cerveau machines ont quitté le domaine de la science-fiction dans les années 70 avec la réflexion portée par Jacques Vidal sur la faisabilité d’utiliser des signaux électro-encéphalogrammes comme moyen de communication entre le cerveau et des dispositifs extérieurs. Pendant le développement de ce domaine de recherche, différentes pistes ont été explorées afin de créer une véritable interface entre le cerveau et une machine. Les méthodes d’acquisition ont pris différentes formes et avec l'amélioration des capacités informatiques et l'avènement de l'apprentissage automatique, les méthodes de classification des données cérébrales sont devenues plus fines, capables de capturer des informations complexes sur la donnée cérébrale. Une piste prometteuse pour aider les patients concerne le processus de rééducation suivant un accident vasculaire cérébrale (AVC). En effet, en effectuant des mouvements ou en informant les patients de leur activité cérébrale, il est possible d’aider leur cerveau à s’adapter au déficit neuronal et ainsi de les aider à surmonter leur lésion. Dans ce contexte, les ICO jouent le rôle d'une béquille sur lequel s’appuyer le temps de la rééducation. Dans tout cela, comment devrions-nous contribuer aux systèmes BCI ? Un défi particulier pour les sujets est de créer des patterns cérébraux différenciables au niveau de l'EEG. Pour créer ces patterns, nous nous appuyons sur des tâches cognitives qui modifient le profil d'activité cérébrale. Nous pouvons évoquer l'imagerie motrice des mouvements des membres, une tâche qui consiste à imaginer des mouvements sans les exécuter. Cette tâche particulière est peu familière pour beaucoup et donc en devient complexe à exécuter. Une manière d'aider les sujets à l'effectuer est d'utiliser des retours évocateurs dans le contexte d’une ICO, tels qu’un bras robotique. Le fait de nourrir le sentiment de contrôle sur le bras ainsi que sur les mouvements produits par celui-ci contribue à obtenir des patterns cérébraux plus différenciables. Cependant, en raison des limitations actuelles en ce qui concerne le degré de contrôle permis par les systèmes d’ICO, un contrôle complet d'un bras robotique n'est pas possible. Une solution est de coupler l’ICO avec une autre technologie pour augmenter le degré de contrôle et renforcer le sentiment d’agentivité des sujets sur le bras. Parmi les technologies qui offrent un aperçu de l'intention des sujets, l’oculomètre semble être une solution élégante. L'intégration des deux composants crée un système BCI hybride capable de contrôler le bras de manière intuitive. Cette hybridation a été développée précédemment en tant que preuve de concept, mais l'impact de l'intégration de ces modalités sur le cerveau reste à étudier. En effet, une meilleure compréhension de la manière dont nous devrions façonner l'interaction entre les éléments permettrait de savoir pourquoi nous obtenons de bonnes performances et comment susciter ces patterns discriminants. Le travail de cette thèse consistait en la création d'une plateforme expérimentale entrelaçant les différentes modalités pour établir un contrôle robuste sur le bras. En réalisant un protocole expérimental, nous avons évalué comment définir l'interaction par une analyse approfondie couvrant la performance pure du système, les réponses physiologiques et neurophysiologiques des sujets. Nous avons constaté que la constance était essentielle dans l'interaction et nous avons démontré l'importance du mouvement pour susciter des réponses cérébrales dans ce contexte particulier. Notre travail ouvre la voie à une meilleure compréhension de la dynamique du cerveau dans son contrôle sur les dispositifs externes dans une configuration multimodale. Cette thèse est structurée en cinq chapitres différents couvrant le contexte des ICOs, le développement de la plateforme expérimentale, les résultats du protocole expérimental associés à leur discussion, et enfin une conclusion générale.
Fichier principal
Vignette du fichier
VENOT_Tristan_these_2023.pdf (33.97 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04452729 , version 1 (12-02-2024)

Identifiants

  • HAL Id : tel-04452729 , version 1

Citer

Tristan Venot. Design and evaluation of a multimodal control of a robotic arm with a Brain Computer Interface. Cognitive Sciences. Sorbonne Université, 2023. English. ⟨NNT : 2023SORUS418⟩. ⟨tel-04452729⟩
54 Consultations
10 Téléchargements

Partager

Gmail Facebook X LinkedIn More