Deep neural networks interpretability and weakly supervised segmentation of brain lesions on MRI
Interprétabilité des réseaux des neurones profonds et segmentation faiblement supervisée des lésions cérébrales sur IRM
Abstract
Medical imaging is essential to diagnose diseases, follow their progress and understand how they work, in order to treat them more effectively. Magnetic resonance imaging is the method of choice to visualize the cerebral cortex and its pathologies, such as multiple sclerosis, an inflammatory demyelinating autoimmune disease which is the leading cause of non-traumatic disability in young adults, or gliomas, the most common primary brain tumors. To analyze these images automatically, deep learning methods perform very well for different types of tasks, such as classification or segmentation. These automatic methods provide clinicians with a very useful pre-analysis for their studies or diagnoses. In the case of supervised segmentation methods, the manual annotations required for each image are very costly. This calls for developments of weakly or unsupervised segmentation methods requiring few or no manual annotation. In addition, in a field as critical as medicine, it is important for networks decision to be explainable and based on the same radiological signs of the pathology as the signs used by clinicians. However, deep neural networks are difficult to explain as they are composed of non-linear interconnections with a huge number of parameters. Providing explainable and interpretable networks is therefore a second key issue for medical image analysis using deep learning. In this thesis, we addressed both these issues. Focusing on a classification task between images of healthy subjects and images of patients (especially with multiple sclerosis or gliomas), we have shown that the decision of state-of-the-art classifiers is not necessarily relevant and in accordance with medical knowledge. The consequences can be very serious: for diagnostics, the use of such biased classifiers is not desirable and when used within other models, such as generative models, it can lead to a drop in performances. Therefore, we proposed more interpretable classifiers, with a decision more based on the radiological signs of the pathology. Three solutions were proposed. First, we normalized the input of the neural networks in order to eliminate the biases present in the image and which can be used by classical networks to make their decision. Next, we constrained the classifiers during their training using attribution maps, a state-of-the-art method enabling the localization of the input image areas contributing the most in the network decision. Finally, we used intrinsically explainable networks: monotonic networks. We proposed a method to transform any deep network architecture into a monotone network, whereas state-of-the-art monotone networks were limited to very shallow architectures. With these interpretable classification networks only trained with image label, we can perform weakly supervised segmentation of brain lesions.
L’imagerie médicale est un outil fondamental pour diagnostiquer les maladies, suivre leur évolution ou comprendre leur fonctionnement. L’imagerie par résonance magnétique est une méthode de choix pour visualiser le cortex cérébral et ses pathologies comme la sclérose en plaques ou encore les gliomes. Pour analyser ces images de manière automatique, les méthodes basées sur l’apprentissage profond présentent de très bonnes performances pour différents types de tâches comme la classification ou la segmentation. Ces méthodes automatiques apportent aux cliniciens une pré-analyse très utile. Cependant, elles nécessitent beaucoup de données pour leur entraînement. Dans le cas des méthodes de segmentation supervisées, les annotations manuelles nécessaires sont très coûteuses. Le développement de méthodes faiblement ou non-supervisées performantes, ne nécessitant pas ou peu d’annotations manuelles, est donc nécessaire. En outre, dans un domaine critique comme celui de la médecine, il est important que les décisions des réseaux soient explicables et s'appuient sur les signes radiologiques de la pathologie présents dans l’image. Or, les réseaux de neurones profonds sont, de par leur grand nombre de paramètres et les interconnexions non linéaires dont ils sont composés, difficiles à expliquer. Proposer des réseaux explicables et interprétables est donc une problématique forte pour l'analyse d’images médicales par apprentissage profond. Dans cette thèse, nous avons abordé ces deux thématiques. En nous focalisant sur une tâche de classification entre des images de sujets sains et des images de patients, nous avons montré que la décision des classifieurs de l’état de l’art n’est pas forcément pertinente et en accord avec les aprioris médicaux. Cela peut avoir de lourdes conséquences : pour du diagnostic, l'utilisation de tels classifieurs biaisés n'est pas raisonnable et lorsqu’ils sont utilisés au sein d’autres modèles, comme les modèles génératifs, cela peut faire chuter les performances. Nous avons donc proposé des classifieurs plus interprétables avec une décision davantage basée sur les signes radiologiques de la pathologie. Trois solutions ont été proposées. Tout d’abord, nous avons normalisé l’entrée des réseaux de neurones afin d’éliminer les biais présents dans l’image et qui peuvent être utilisés par les réseaux pour prendre leur décision. Ensuite, nous avons contraint les classifieurs au cours de leur entraînement en utilisant les cartes d’attributions qui permettent d’identifier les zones de l’image utilisées par le réseau pour prendre sa décision. Enfin, nous avons utilisé des réseaux intrinsèquement explicables : les réseaux monotones. Nous avons notamment proposé une méthode pour transformer n’importe quelle architecture en réseau monotone. Avec ces réseaux de classification interprétables ne disposant que du label de l'image à l'entraînement, nous pouvons réaliser une segmentation faiblement supervisée des lésions cérébrales.
| Origin | Version validated by the jury (STAR) |
|---|