Global context with transformers in 3D medical image segmentation
Contexte global avec des Transformers pour la segmentation d'images médicales 3D
Résumé
This thesis addresses the challenging task of segmenting high-dimensional images, specifically 3D medical images. The inherent high dimensionality of these images poses an obstacle to effective segmentation. We established that deep learning models require a global context and fine grain information to accurately segment complex structures. These requirements are not satisfied together by classical models like UNet which often struggle due to limited receptive fields and restricted input region sizes. To tackle these limitations, we studied in this thesis Transformers attention models which are employed for their capacity to capture long-range interactions. In this work, we introduce Transformer modules enriched with global tokens to enhance their effectiveness in modeling long and out-of-range interactions in high-dimensional images, such as 3D medical images.First, we focus on 2D medical image segmentation and introduce the U-Transformer model. This pioneering model incorporates Transformer architectures into medical imaging segmentation to overcome the limitations of classical UNet models with restricted receptive fields. The U-Transformer integrates self-attention mechanisms in the encoder and multiple layers of cross-attention mechanisms in the decoder. By combining Convolutional Neural Networks with Transformers, the U-Transformer achieves state-of-the-art performance on two diverse datasets, surpassing the established state-of-the-art nnUNet baseline.U-Transformer is interesting but only model interactions in the bottleneck, thus have a degraded resolution. The solution would be to have Transformers at each resolution level, but this implies computational and memory limitations. We introduced GLAM which tackles these issues. GLAM is a module designed for seamless integration into windowed Transformer models. GLAM addresses the limitations faced by prior windowed Transformers, which struggle to capture long-range interactions in high-resolution feature maps. Leveraging global tokens and specific Transformer modules, GLAM facilitates information propagation between windows, enabling interconnected windows to capture long-range information. GLAM outperforms traditional methods on real-life scene segmentation datasets and a 3D medical image segmentation dataset.In the context of 3D medical image segmentation, GLAM is trained on cropped patches of the full size images and doesn’t model information beyond this cropped regions which is important for complex structures which requires more information to be segmented. To address this, we proposed to adapt the global token mechanism to model this lost information. Thus we propose FINE and LORI which enables the modeling of long and out-of-range interactions. FINE serves as a generic module for windowed transformer-based models and exhibits promising preliminary results on BCV dataset. LORI is a versatile module for various deep learning methods. Experiments across three 3D medical image segmentation datasets, including CT-scans and ultrasound data, consistently demonstrate LORI's superiority over classical methods, underscoring its robustness and the importance of context modeling.
Cette thèse aborde la tâche complexe de la segmentation d'images à haute dimension, en particulier les images médicales en 3D. La haute dimensionnalité inhérente de ces images pose un obstacle à une segmentation efficace. Les modèles d'apprentissage profond nécessitent un contexte global et des informations fines pour segmenter avec précision des structures complexes. Ces exigences ne sont, cependant, pas satisfaites par les modèles classiques tels que UNet, qui restent limités par la teille de leur champs réceptifs ainsi que des contraintes mémoire sur la taille des entrées de ces modèles. Pour lever ces limitations, nous avons étudié dans cette thèse les modèles d'attention Transformers, qui sont utilisés pour leur capacité à capturer des interactions à longue portée. Dans ce travail, nous introduisons des modules Transformers enrichis de représentations globales améliorant ainsi leur efficacité dans la modélisation d'interactions à longue portée et très longue portée dans des volumes de hautes dimensions. Dans un premier temps, nous nous concentrons sur la segmentation d'images médicales en 2D et présentons le modèle U-Transformer. Ce modèle novateur intègre les architectures Transformer dans la segmentation d'imagerie médicale pour surmonter les limitations des modèles classiques UNet avec des champs réceptifs restreints. U-Transformer intègre des mécanismes d'auto-attention dans l'encodeur et plusieurs couches de mécanismes d’attention croisée dans le décodeur. En combinant les réseaux neuronaux convolutionnels avec les Transformers, U-Transformer atteint des performances de pointe sur deux ensembles de données différents, dépassant les résultats établies par nnUNet. Bien que prometteuse, l'architecture U-Transformer ne modèle les interactions qu'au le plus profond du modèle, ce qui entraîne une résolution dégradée. Une solution serait d'avoir des Transformers à chaque niveau de résolution, mais les besoin requis en termes de calcul et de mémoire sont alors irréalistes. Nous avons introduit GLAM pour résoudre ces problèmes. GLAM est un module conçu pour une intégration transparente dans les modèles Window Transformer. GLAM aborde les limitations auxquelles sont confrontés les Window Transformers, qui ont du mal à capturer des interactions à longue distance dans des cartes de caractéristiques de haute résolution. En utilisant des jetons globaux et des modules Transformer spécifiques, GLAM facilite la propagation de l'information entre les fenêtres, permettant aux fenêtres interconnectées de capturer des informations à longue portée. GLAM surpasse les méthodes traditionnelles sur des ensembles de données de segmentation de scènes réelles et un ensemble de données de segmentation d'images médicales en 3D.Dans le contexte de la segmentation d'images médicales 3D, GLAM est entraîné sur des patchs extraits des images d’origine et ne modélise pas les informations au-delà de ces régions, ce qui est important pour la segmentation de structures complexes nécessitant une information sur la strucutre anatomique imagée. Pour remédier à cela, nous avons proposé d'adapter le mécanisme de jeton global pour modéliser ces informations perdues. Ainsi, nous proposons FINE et LORI, qui permettent la modélisation d'interactions à longue portée et hors de portée. FINE et LORI sont des modules polyvalent pour diverses méthodes d'apprentissage profond. Les expériences menées sur trois ensembles de données de segmentation d'images médicales en 3D, comprenant des scans CT et des données d'échographie, démontrent de manière constante la supériorité de LORI par rapport aux méthodes classiques, soulignant sa robustesse et l'importance de la modélisation du contexte.
| Origine | Version validée par le jury (STAR) |
|---|