Semantic segmentation of 3D medical images with deep learning
Segmentation sémantique d'images médicales 3D par deep learning
Résumé
Deep Learning has recently shown impressive results in computer vision. Especially with theConvolutional Neural Networks (ConvNets) which have redefined the state of the art in many applications such asmedical image segmentation. In this thesis we address problems in the task of abdominal organ segmentation usingdeep learning models. In the first part, we address the issue of training deep ConvNets on partially labeled data.Professionals often focus on specific anatomical regions leading to heterogeneous datasets with partially labeledimages. Training a model directly on such data leads to very poor results. Thus, we propose a training schemethat leverages all the labels without being affected by the missing ones. Moreover, an iterative scheme relabelsthe missing organs of the training set which further improves the segmentation model. The second part aims atusing spatial prior about the position of the organs to improve the detection of structures and reduce outliersin the segmentation. ConvNets by construction, does not capture absolute spatial information. However, medicalimages are very structured and there are conventions about the expected position of organs. Thus, we propose a 3Dspatial prior that captures the spatial position of organs and then explicitly biases the model through a prior-drivenactivation function. Finally, we propose to use Transformers to model long range dependencies between anatomicalstructures in a segmentation model used for organ segmentation. ConvNets do not capture such interactionsbecause of the receptive field which is often limited. Using dense attention introduced in Transformers allows toconnect every pixel with each other and thus to model complex interactions on different parts of the input image.We propose U-Transformer and show that it improves the quality of the segmentation on various datasets.
L’apprentissage profond a récemment montré des résultats impressionnants en vision par ordinateur. En particulier avec les réseaux de neurones convolutifs (ConvNets) qui ont redéfini l’état-de-l’art dans de nombreuses applications telles que la segmentation d’images médicales. Dans cette thèse nous abordons des problèmes en segmentation d’organes de l’abdomen en utilisant ces modèles. Premièrement, nous nous sommes intéressés à l’entrainement de ConvNets avec des bases de données partiellement étiquetées. Les professionnels se concentrant, souvent sur des régions anatomiques précises, les bases de données sont de ce fait hétérogènes et partiellement étiquetées. Entraîner un modèle de segmentation directement donne de tr`es mauvais résultats. Nous proposons donc un schéma d’entrainement qui utilise toutes les étiquettes disponibles sans être affect´e par les mauvaises. De plus, un schéma itératif permet de progressivement ré-étiqueter les organes manquants ce qui permet d’améliorer encore notre modèle. La seconde partie étudie l’utilisation d’un a priori spatial sur la position absolue des organes afin d’améliorer la détection des structures et réduire les erreurs aberrantes. Les ConvNets sont par construction incapables de capturer l’information de position spatiale absolue. Cependant, les images médicales sont très structurées et les positions des organes sont connues. Dans ces travaux nous proposons d’utiliser un a priori spatial 3Dqui capture la position des organes et qui va explicitement biaiser le modèle grâce à une fonction d’activation «prior-driven ». Pour finir, nous étudions les Transformers qui permettent de mod´eliser des interactions `a long terme entre les structures anatomiques dans un modèle de segmentation. Les ConvNets ne permettent pas de capturer ces interactions globales principalement `a cause de leur champ réceptif limité. Utiliser le mécanisme d’attention propose dans les Transformers permet de connecter tous les pixels entre eux, ayant pour effet de modéliser des interactions complexes. Nous proposons le modèle U-Transformer et montrons qu’il améliore la qualité de la segmentation sur plusieurs bases de données.
| Origine | Version validée par le jury (STAR) |
|---|