Nouveaux biomarqueurs vocaux pour la détection automatique de la somnolence - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

New speech biomarkers for automatic sleepiness detection

Nouveaux biomarqueurs vocaux pour la détection automatique de la somnolence

Vincent Martin
  • Fonction : Auteur
  • PersonId : 1195796
  • IdRef : 265030331

Résumé

Voice is one of the most promising tools in digital medicine. In association with virtual medical companions, the estimation of symptoms based on voice features will allow both home monitoring of patients suffering from chronic neuropsychiatric diseases and access to personalized lifestyle advice for the general population. Sleepiness, occuring in many pathologies and being very prevalent both in patients suffering from chronic diseases and in the general population, is a key symptom for this approach.The objective of the work presented in this manuscript is thus to complete the information collected by virtual assistants during the interaction of the subjects with them, by using vocal markers validated as being reliable markers of sleepiness. Our approach is the following.First, we introduce the mechanisms of voice production and the different pathologies that can interfere with the involved muscular and neuro-muscular functions, with a focus on the methodologies used for the recording and annotation of the corpora.Then, we attempt to establish a consensual definition of sleepiness using three reference dictionaries of the French language; two text mining approaches; and finally through an umbrella review of tools designed to measure it.Subsequently, we present our own corpus of patients with hypersomnia, recorded at the sleep medicine center of the Bordeaux University Hospital on a reading aloud task, annotated with both subjective (questionnaires) and objective (sleep latency to the Multiple Sleep Latency Test) measures of sleepiness validated by the physicians of the University Hospital.This corpus is then compared with other state-of-the-art corpora on voice sleepiness detection, from which we propose recommendations on the development of such corpora. Then, using a perceptual study, we validate the use of the MSLT database for the detection of sleepiness in speech.Based on this corpus, we develop four categories of speech features, measuring two dimensions of the impact of sleepiness on speech. On the one hand, we study markers of acoustic voice quality; on the other hand, we design markers of reading quality, divided into three subcategories: reading errors made by patients, their automation through errors made by automatic speech recognition systems, and finally the durations and locations of reading pauses.These features are validated on different forms of sleepiness (objective and subjective).Finally, we present a methodology to train a classifier for the clinical use of these speech features for the detection of three symptoms related to sleepiness. We carry out a detailed analysis of the obtained results and of the descriptors used by the classifier. To go further, we then propose to bring the classification problem closer to the reality of clinical reasoning by classifying two syndromes derived from the previous symptoms.Finally, in this same direction, we consider research perspectives around symptom networks, in the framework of digital medicine research on sleepiness and, in a more general way, on digital psychiatry.
La voix est un des outils les plus prometteurs de la médecine numérique. En association avec les compagnons virtuels médicaux, l'estimation de symptômes à partir de marqueurs vocaux permettra à la fois le suivi à domicile de patients souffrant de maladies neuropsychiatriques chroniques, et l'accès à des conseils personnalisés d'hygiène de vie pour la population générale. La somnolence, présente dans de nombreuses pathologies et présentant une très forte prévalence à la fois chez les patients souffrant de maladies chroniques et en population générale, est un symptôme privilégié pour cette approche.L’objectif des travaux présentés dans ce manuscrit est ainsi de compléter les informations collectées par les assistants virtuels lors de l'interaction des sujets avec ceux-ci, en utilisant des marqueurs vocaux validés comme étant des marqueurs fiables de la somnolence. La démarche suivie est la suivante.Dans un premier temps, nous introduisons dans un premier temps les mécanismes de production de la voix et l'ensemble des pathologies qui peuvent interférer avec les différentes fonctions musculaires et neuro-musculaires impliquées, avec une attention particulière portée sur les méthodologies employées pour l'enregistrement et l'annotation des corpus utilisés.Ensuite, nous tentons d'établir une définition consensuelle de la somnolence en utilisant trois dictionnaires de référence de la langue française ; deux approches de fouille de texte~;~et enfin par l'intermédiaire d'une revue générale des outils conçus pour la mesurer.Nous présentons ensuite notre propre corpus de patients atteints d'hypersomnie, enregistrés au pôle universitaire de médecine du sommeil du CHU de Bordeaux sur une tâche de lecture à voix haute, annotés avec des mesures de somnolence à la fois subjectives (questionnaires) et objectives (latence d'endormissement au Test Itératif de Latences d'Endormissement) validées par les médecins du CHU.Ce corpus est ensuite comparé avec les autres corpus de l'état de l'art sur la détection de la somnolence dans la voix, à partir desquels nous proposons des recommandations sur l'élaboration de tels corpus. Puis, à l'aide d'une étude perceptuelle, nous validons l'utilisation de la base TILE pour la détection de la somnolence dans la voix.Sur la base de ce corpus, nous élaborons quatre catégories de descripteurs vocaux, mesurant deux dimensions de l’impact de la somnolence sur la voix. D’une part, nous étudions des marqueurs de qualité acoustique de la voix ; d’autre part nous concevons des marqueurs de qualité de lecture, divisés en trois sous-catégories : les erreurs de lecture faites par les patients, leur automatisation à travers les erreurs faites par des systèmes de reconnaissance automatique de la parole, et enfin les durées et emplacements des pauses de lecture.Ces marqueurs sont validés sur différentes formes de somnolence (objective et subjective).Enfin, nous proposons une méthodologie pour entraîner un classificateur dans la visée d'une utilisation clinique de ces descripteurs vocaux pour la détection de trois symptômes liés à la somnolence. Nous proposons une analyse détaillée des résultats obtenus et des descripteurs employés par le classificateur. Pour aller plus loin, nous proposons ensuite de rapprocher le problème de classification de la réalité du raisonnement clinique en classifiant deux syndromes dérivés des précédents symptômes.Enfin, dans cette même direction, nous proposons des perspectives de recherche autour des réseaux de symptômes, dans la cadre de la recherche en médecine numérique sur la somnolence et sur la psychiatrie numérique de manière plus générale.
Fichier principal
Vignette du fichier
MARTIN_VINCENT_2022.pdf (5.76 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03875860 , version 1 (28-11-2022)

Identifiants

  • HAL Id : tel-03875860 , version 1

Citer

Vincent Martin. Nouveaux biomarqueurs vocaux pour la détection automatique de la somnolence. Interface homme-machine [cs.HC]. Université de Bordeaux, 2022. Français. ⟨NNT : 2022BORD0184⟩. ⟨tel-03875860⟩
161 Consultations
179 Téléchargements

Partager

Gmail Facebook X LinkedIn More