Parkinson's desease detection by multimodal analysis combining handwriting and speech signals - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Parkinson's desease detection by multimodal analysis combining handwriting and speech signals

Détection de la maladie de Parkinson par analyse multimodale combinant signaux d’écriture et de parole

Résumé

Parkinson’s disease (PD) is a neurological disorder caused by a decreased dopamine level on the brain. This disease is characterized by motor and non-motor symptoms that worsen over time. In advanced stages of PD, clinical diagnosis is clear-cut. However, in the early stages, when the symptoms are often incomplete or subtle, the diagnosis becomes difficult and at times, the subject may remain undiagnosed. Furthermore, there are no efficient and reliable methods capable of achieving PD early diagnosis with certainty. The difficulty in early detection is a strong motivation for computer-based assessment tools/decision support tools/test instruments that can aid in the early diagnosing and predicting the progression of PD.Handwriting’s deterioration and vocal impairment may be ones of the earliest indicators for the onset of the illness. According to the reviewed literature, a language independent model to detect PD using multimodal signals has not been enough addressed. The main goal of this thesis is to build a language independent multimodal system for assessment the motor disorders in PD patients at an early stage based on combined handwriting and speech signals, using machine learning techniques. For this purpose and due to the lack of a multimodal and multilingual dataset, such database that is equally distributed between controls and PD patients was first built. The database includes handwriting, speech, and eye movements’ recordings collected from control and PD patients in two phases (“on-state” and “off-state”). In this thesis we focused on handwriting and speech analysis, where PD patients were studied in their “on-state”.Language-independent models for PD detection based on handwriting features were built; where two approaches were considered, studied and compared: a classical feature extraction and classifier approach and a deep learning approach. Approximately 97% classification accuracy was reached with both approaches. A multi-class SVM classifier for stage detection based on handwriting features was built. The achieved performance was non-satisfactory compared to the results obtained for PD detection due to many obstacles faced.Another language and task-independent acoustic feature set for assessing the motor disorders in PD patients was built. We have succeeded to build a language independent SVM model for PD diagnosis through voice analysis with 97.62% accuracy. Finally, a language independent multimodal system for PD detection by combining handwriting and voice signals was built, where both classical SVM model and deep learning models were both analyzed. A classification accuracy of 100% is obtained when handcrafted features from both modalities are combined and applied to the SVM. Despite the encouraging results obtained, there is still some works to do before putting our PD detection multimodal model into clinical use due to some limitations inherent to this thesis.
La maladie de Parkinson (MP) est un trouble neurologique causé par une diminution du niveau de dopamine dans le cerveau. Cette maladie est caractérisée par des symptômes moteurs et non moteurs qui s'aggravent avec le temps. Aux stades avancés de la maladie de Parkinson, le diagnostic clinique est clair. Cependant, dans les premiers stades, lorsque les symptômes sont souvent incomplets ou subtils, le diagnostic devient difficile et, parfois, le sujet peut rester non diagnostiqué. En outre, il n'existe pas de méthodes efficaces et fiables permettant d'établir avec certitude un diagnostic précoce du MP. La difficulté de la détection précoce est une forte motivation pour les outils d'évaluation informatisés/outils d'aide à la décision/instruments de test qui peuvent aider au diagnostic précoce et à la prédiction de la progression de la maladie de Parkinson. La détérioration de l'écriture et la déficience vocale peuvent être l'un des premiers indicateurs de l'apparition de la maladie. Selon la documentation examinée, un modèle indépendant du langage pour détecter la maladie de Parkinson à l'aide de signaux multimodaux n'a pas été suffisamment étudié. L'objectif principal de cette thèse est de construire un système multimodal indépendant du langage pour évaluer les troubles moteurs chez les patients atteints de la maladie de Parkinson à un stade précoce, basé sur des signaux combinés d'écriture et de parole, en utilisant des techniques d'apprentissage automatique. Dans ce but et en raison de l'absence d'un ensemble de données multimodales et multilingues, une telle base de données, également répartie entre les témoins et les patients atteints de la maladie de Parkinson, a d'abord été construite. La base de données comprend des enregistrements de l'écriture, de la parole et des mouvements oculaires recueillis auprès de patients témoins et de patients atteints de la maladie de Parkinson en deux phases (avec médication et sans médication). Dans cette thèse, nous nous sommes concentrés sur l'analyse de l'écriture et de la parole, où les patients atteints de la maladie de Parkinson ont été étudiés avec médication.Des modèles indépendants du langage pour la détection de la maladie de Parkinson basés sur les caractéristiques de l'écriture ont été construits ; deux approches ont été envisagées, étudiées et comparées : une approche classique d'extraction et de classification des caractéristiques et une approche d'apprentissage approfondi. Les deux approches ont permis d'atteindre une précision de classification d'environ 97 %. Un classificateur SVM multi-classes pour la détection des étapes basées sur les caractéristiques de l'écriture a été construit. Les performances obtenues n'étaient pas satisfaisantes par rapport aux résultats obtenus pour la détection de MD en raison des nombreux obstacles rencontrés.Un autre ensemble de caractéristiques acoustiques indépendantes de la langue et de la tâche a été construit pour évaluer les troubles moteurs chez les patients atteints de la maladie de Parkinson. Nous avons réussi à construire un modèle SVM indépendant du langage pour le diagnostic de la MP par analyse vocale avec une précision de 97,62%. Enfin, un système multimodal indépendant du langage pour la détection de la maladie de Parkinson en combinant l'écriture et les signaux vocaux a été mis au point, où le modèle SVM classique et les modèles d'apprentissage profond ont tous deux été analysés. Une précision de classification de 100 % est obtenue lorsque des caractéristiques artisanales des deux modalités sont combinées et appliquées au SVM. Malgré les résultats encourageants obtenus, il reste encore du travail à faire avant de mettre notre modèle multimodal de détection de la MP en usage clinique en raison de certaines limitations inhérentes à cette thèse.
Fichier principal
Vignette du fichier
97569_TALEB_2020_archivage.pdf (15.7 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03594895 , version 1 (03-03-2022)

Identifiants

  • HAL Id : tel-03594895 , version 1

Citer

Catherine Taleb. Parkinson's desease detection by multimodal analysis combining handwriting and speech signals. Signal and Image Processing. Institut Polytechnique de Paris, 2020. English. ⟨NNT : 2020IPPAT039⟩. ⟨tel-03594895⟩
198 Consultations
56 Téléchargements

Partager

Gmail Facebook X LinkedIn More