Deep learning approaches to assess speech intelligibility of head and neck cancer
Approches d'apprentissage profond pour évaluer l'intelligibilité de la parole pour des cancers ORL
Résumé
Loss of speech intelligibility is commonly found in the post-treatment of conditions that affect the vocal tract, such as head and neck cancer. Due to this, perceptual evaluations are still the most widely used method to clinically assess speech intelligibility. On the other hand, these evaluations are known to be highly subjective, biased and time-consuming since the evaluation can be conditioned by the practitioner, or patients previously assessed. In order to tackle these issues, an automatic assessment has been seen as a growing and viable alternative, that could provide more objective, faster and unbiased measures. In the present work, we explore distinct ways to predict speech intelligibility based on the different granularity levels of sentence, word and phoneme. The results from the proposed granular models suggest correlations with the perceptual intelligibility ranging from 0.80 to as high as 0.89 when applied to the French head and neck cancer speech corpus. The results also suggest a correlation up to 0.91 when merging all granular systems. Several conclusions are drawn from each granularity level, namely concerning specific types of words and phonemes that play different levels of relevance for the intelligibility of distinct speakers. Moreover, a study on the individual modelling of a set of perceptual judges is also presented. The study showcased that different judge profiles emerge from the perceptual and the automatic set of judges. Similarly to the granular systems, the results suggest that an automatic approach can indeed be seen as more uniform and objective. This leaves the possibility of these approaches being implemented in clinical environments to either serve as a second opinion or to free the practitioner to perform other relevant tasks.
La perte d'intelligibilité de la parole est souvent constatée après le traitement de maladies qui affectent les voies aérodigestives, comme les cancers ORL. Les évaluations perceptives restent la méthode la plus utilisée pour évaluer cliniquement l'intelligibilité de la parole. Cependant, ces appréciations sont connues pour être hautement subjectives, biaisées et longues puisque l'évaluation peut être conditionnée par l'expérience du praticien par exemple, ou encore les patients précédemment examinés. Afin de résoudre ces problèmes, une évaluation automatique est une alternative intéressante et viable, qui pourrait fournir des mesures plus objectives, plus rapides et non biaisées. Dans ce travail, nous explorons différentes manières de prédire l'intelligibilité de la parole en nous basant sur différents niveaux de granularité : la phrase, le mot et le phonème. Les résultats des modèles granulaires proposés suggèrent des corrélations avec l'intelligibilité perceptive allant de 0,80 à 0,89 lorsqu'ils sont appliqués sur un corpus français de cancers ORL. Les corrélations atteignent même 0,91, lors de la fusion de tous les systèmes granulaires. Plusieurs conclusions sont tirées de chaque niveau de granularité, notamment en ce qui concerne les types de mots et de phonèmes qui jouent un rôle plus ou moins important dans l'intelligibilité des différents locuteurs. En outre, une étude sur la modélisation individuelle d'un ensemble de juges perceptifs est également présentée. Celle-ci montre que différents profils de juges émergent de l'ensemble des juges perceptifs et automatiques. De plus, les résultats suggèrent qu'une approche automatique peut effectivement être considérée comme plus uniforme et objective qu'un juge humain. Cela laisse la possibilité de mettre en œuvre ces approches dans des environnements cliniques, soit pour servir de second avis, soit pour libérer le praticien afin qu'il puisse effectuer d'autres tâches.
| Origine | Version validée par le jury (STAR) |
|---|