Brain Lesion Segmentation and Detection on Multi-parametric MRI Data : Marrying Deep Learning with Low-rank Factorization
Segmentation et détection de lésions cérébrales combinant apprentissage profond et factorisation à partir d'IRM multi-paramétriques
Résumé
Brain lesion segmentation is pivotal in clinical neuroimaging for diagnosis, treatment planning, and research. Magnetic Resonance Imaging (MRI), particularly multiparametric MRI (mpMRI), is crucial for assessing brain lesions, providing comprehensive and rich tissue representations. However, manual segmentation in mpMRI is laborious, costly, and subjective, necessitating automated, consistent, and reproducible methods, especially given the challenges posed by the application of deep learning models like convolutional neural networks (CNNs) in clinical practice due to data scarcity, variability, class imbalance, computational demands, and their "black box" nature. This thesis develops efficient models for automated segmentation and detection of brain lesions, specifically brain tumors, Multiple Sclerosis (MS) lesions, and stroke lesions, using mpMRI, by integrating advanced deep learning with low-rank factorization techniques, offering accurate and interpretable diagnostic tools without increased computational complexity. In the first part of this thesis, we focus on the application of CNNs for the automated segmentation of new MS lesions in 3D FLAIR images. Our goal is to identify new lesions between two longitudinal MRI scans of an MS patient, which is a key indicator of disease progression. We introduce Pre-U-Net, a 3D encoder-decoder architecture consisting of pre-activation residual blocks. To mitigate limited training data and class imbalance, we employ data augmentation and deep supervision for optimal model training. Comparative analysis reveals that Pre-U-Net outperforms both U-Net and Res-U-Net on the MSSEG-2 dataset. The centerpiece of this thesis presents a novel method that integrates low-rank factorization with deep learning for enhanced medical image segmentation. Recognizing the limitations of CNNs in exploiting global context and the quadratic complexity of attention in transformers, we introduce a family of models, called Factorizer, which leverage the power of low-rank matrix factorization to construct a scalable and interpretable segmentation model. More specifically, we formulate nonnegative matrix factorization (NMF) as a differentiable layer and incorporate it into a U-shaped architecture. Moreover, we use the shifted window technique in combination with NMF to effectively aggregate local information. Our results indicate that Factorizers outshine CNNs and transformers in terms of accuracy, complexity, and interpretability, setting new benchmarks on the BraTS and ISLES'22 datasets. Notably, our experiments show that NMF components are highly meaningful, with each component highlighting specific regions, offering Factorizers a unique edge in interpretability over CNNs and Transformers. Moreover, our ablation studies reveal a distinctive feature of Factorizers that allows a significant speed-up in inference for a trained Factorizer model, without requiring additional steps or significant accuracy trade-offs. In the final part, we propose a method utilizing low-rank tensor networks to enhance CNNs for brain tumor segmentation. Given that many effective 3D CNNs are prone to overfitting due to their complexity and limited training data, we introduce a 3D U-Net-like architecture integrated with residual blocks. By imposing low-rank constraints on convolutional layer weights, we aim to avoid overfitting. This approach allows the creation of networks with considerably fewer parameters. We assess our method performance in the BraTS 2020 challenge data.
La segmentation des lésions cérébrales est essentielle en neuroimagerie clinique, facilitant le diagnostic, la planification du traitement et la recherche. Cette thèse explore le développement de modèles efficaces pour la segmentation et la détection automatisées des lésions cérébrales, notamment des tumeurs, des lésions de Sclérose en Plaques (SEP) et des lésions d’AVC, en utilisant l'IRM multiparamétrique (mpMRI). Nous introduisons des techniques avancées d'apprentissage profond et de factorisation de rang faible pour créer des outils diagnostiques précis, interprétables et efficaces. Dans la première partie de cette thèse, nous nous concentrons sur l'application des CNN pour la segmentation automatisée des nouvelles lésions de SEP dans les images 3D FLAIR. Notre objectif est d'identifier de nouvelles lésions entre deux scans IRM longitudinaux d'un patient atteint de SEP, ce qui est un indicateur clé de la progression de la maladie. Nous introduisons Pre-U-Net, une architecture encodeur-décodeur 3D composée de blocs résiduels pré-activation. Pour pallier le manque de données d'entraînement et le déséquilibre des classes, nous utilisons l'augmentation des données et la supervision profonde pour une formation optimale du modèle. Une analyse comparative révèle que Pre-U-Net surpasse à la fois U-Net et Res-U-Net sur le jeu de données MSSEG-2. Le cœur de cette thèse présente une méthode novatrice qui intègre la factorisation de rang faible à l'apprentissage profond pour améliorer la segmentation des images médicales. Reconnaissant les limites des CNN à exploiter le contexte global et la complexité quadratique de l'attention dans les transformateurs, nous introduisons une famille de modèles, appelée "Factorizer", qui exploitent la puissance de la factorisation matricielle de rang faible pour construire un modèle de segmentation évolutif et interprétable. Plus précisément, nous formulons la factorisation matricielle non négative (NMF) comme une couche différentiable et l'intégrons dans une architecture en forme de U. De plus, nous utilisons la technique de fenêtre décalée en combinaison avec la NMF pour agréger efficacement les informations locales. Nos résultats indiquent que les Factorizers surpassent les CNN et les transformateurs en termes de précision, de complexité et d'interprétabilité, établissant de nouvelles références sur les jeux de données BraTS et ISLES'22. Notamment, nos expériences montrent que les composants NMF sont hautement significatifs, chaque composant mettant en évidence des régions spécifiques, offrant aux Factorizers un avantage unique en matière d'interprétabilité par rapport aux CNN et aux Transformateurs. De plus, nos études d'ablation révèlent une caractéristique distinctive des Factorizers qui permet une accélération significative de l'inférence pour un modèle Factorizer formé, sans nécessiter d'étapes supplémentaires ou de compromis significatifs en matière de précision. Dans la dernière partie, nous proposons une méthode utilisant des réseaux tensoriels de rang faible pour améliorer les CNN pour la segmentation des tumeurs cérébrales. Étant donné que de nombreux CNN 3D efficaces sont sujets au surajustement en raison de leur complexité et du manque de données d'entraînement, nous introduisons une architecture de type U-Net 3D intégrée avec des blocs résiduels. En imposant des contraintes de rang faible sur les poids des couches convolutionnelles, nous visons à éviter le surajustement. Cette approche permet de créer des réseaux avec nettement moins de paramètres. Nous évaluons la performance de notre méthode sur les données du défi BraTS 2020.
Domaines
Imagerie médicale| Origine | Version validée par le jury (STAR) |
|---|