Semi-supervised learning, PET/CT segmentation and prediction of the tumoral response to immunotherapy - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Semi-supervised learning, PET/CT segmentation and prediction of the tumoral response to immunotherapy

Apprentissage semi-supervisé, segmentation d'images TEP/TDM et prédiction de la réponse tumorale à l'immunothérapie

Résumé

The overall objective of this thesis is to provide an end-to-end pipeline to predict the response to immunotherapy in NSCLC patients. We aim to standardise and facilitate the collection of 18F-FDG PET/CT imaging biomarkers for the response to immunotherapy by leveraging segmentation models. Encouraged by the lack of segmented scans (labelled data), semi-supervised learning methods are considered and in particular, emph{safe} semi-supervised learning methods to alleviate the possible risk of performance degradation caused by the introduction of unlabelled data. Then, the extracted biomarkers from the 18F-FDG PET/CT scans are combined with heterogeneous clinical and biological biomarkers acquired in current care practice to predict NSCLC patients' outcomes to immunotherapy.We propose a simple modification of the semi-supervised learning framework, called DeSSL, and provide theoretical guarantees to most of deep learning SSL methods. Indeed, most deep-learning SSL methods minimise a biased estimate of the risk by the inclusion of unlabelled data, even asymptotically. We propose to simply debias the estimate of the risk using labelled data. Our modification is straightforward to implement and applicable to most deep SSL methods. We compare several state-of-the-art SSL methods with their debiasing counterparts and prove that debiasing can compete with classic deep SSL techniques in various classic settings and even performs well when traditional SSL fails, in particular on different medical datasets. We further extent the debiased estimator to the self-masked missing non-at-random. We propose a novel approach to address the issue of estimating the missing-data mechanism and using inverse propensity weighting to debias any SSL algorithm. The performance of this method is shown on different datasets including two medical datasets for which we design pseudo-realistic missing data scenarios.We adapt DeSSL for the segmentation of medical images. The method, DeSegSSL, can be applied to most deep discriminative method for the semi-supervised segmentation methods. Additionally, DeSegSSL comes with theoretical guarantees, we proved that DeSegSSL is a more accurate estimator of the risk than the complete case baseline and it benefits from generalisation error bounds derived from Rademacher complexity. We demonstrate experimentally on the subset of PET/CT-positive malignant lesions of autoPET citep{gatidis2022whole} that the debiasing method does not hurt the performance of the biased methods on the pseudo-label and the mean teacher methods. In the scenario with fewer, the debiasing method improves the performance of the biased method. In terms of estimation of the volume and the number of lesions, the debiasing method improves in almost every case over the biased counterparts.Finally, we develop simple and interpretable models for predicting immunotherapy's outcome by leveraging a rigorous features selection method and simple models such as logistic regression. We prove that the combination of multimodal biomarkers provides a powerful model for predicting the outcome of NSCLC patients treated with immunotherapy. We prospectively collected a dataset of patients with metastatic NSCLC, treated with either pembrolizumab or nivolumab in monotherapy. For all patients of the exploratory cohort, a total of 27 baseline quantitative features were analysed (12 clinical, 6 biological and 9 PET/CT parameters), such as the patient's age, ECOG performance status, PDL1 expression, neutrophil-to-lymphocyte blood ratio, number and metabolism of tumour lesions on PET/CT and tMTV.
L'objectif de cette thèse est de prédire la réponse à l'immunothérapie de patients atteints du cancer du poumon non à petites cellules (CPNPC). Pour ce faire, nous proposons une méthode basée sur l'apprentissage profond, qui accélère la collecte et la standardisation de biomarqueurs d'imagerie 18F-FDG PET/CT. Cette méthode segmente directement les tumeurs sur les images et permet d'en extraire les biomarqueurs. En outre, il est très fastidieux d'obtenir de large jeux de données annotées dans le cadre de la segmentation d'image médicale. Cependant, les données non annotées s'obtiennent à moindre coup. Cette remarque nous a fait nous tourner vers les méthodes d'apprentissage semi-supervisées et plus particulièrement, vers les méthodes d'apprentissage semi supervisées dites emph{sans danger} pour atténuer le risque de possible de dégradation des performances causé par l'introduction de données non étiquetées. Ensuite, les biomarqueurs extraits des images 18F-FDG PET/CT sont combinés avec des biomarqueurs cliniques et biologiques hétérogènes acquis dans la pratique courante des soins pour prédire les résultats des patients atteints de CPNPC.Pour ce faire, nous proposons une modification simple du cadre d'apprentissage semi-supervisé, appelé DeSSL, et fournissons des garanties théoriques à la plupart des méthodes SSL d'apprentissage profond. En effet, la plupart des méthodes d'apprentissage profond SSL minimisent une estimation biaisée du risque due à l'inclusion de données non étiquetées, même de manière asymptotique. Nous proposons de débiaiser simplement l'estimation du risque en utilisant des données étiquetées. Notre modification est simple à mettre en œuvre et applicable à la plupart des méthodes SSL profondes. Nous comparons plusieurs méthodes SSL avec leurs équivalents après application de la méthode et prouvons que le débiaisage peut rivaliser avec les techniques SSL profondes classiques dans divers contextes et même donner de bons résultats lorsque la méthode SSL traditionnelle échoue, en particulier sur différents ensembles de données médicales. Nous étendons en outre l'estimateur débiaisé à un scenario ou l'absence des annotations est due à leur propre valeur. Nous proposons une nouvelle approche pour résoudre le problème de l'estimation du mécanisme des données manquantes et une nouvelle méthode de débiaisage applicable à n'importe quelle méthode discriminative. La performance de cette méthode est démontrée dans différentes situations, y compris sur deux jeux de données médicaux pour lesquels nous concevons des situations de données manquantes pseudo-réalistes. Nous proposons ensuite une adaptation de DeSSL pour la segmentation des images médicales. Comme DeSSL, la méthode, DeSegSSL, peut être appliquée à la plupart des méthodes discriminatives profondes pour la segmentation semi-supervisées. De plus, DeSegSSL bénéficie de garanties théoriques. Nous avons prouvé que DeSegSSL est un estimateur plus précis du risque que le cas complet et qu'il bénéficie de bornes d'erreur de généralisation dérivées de la complexité de Rademacher.Finalement, nous développons des modèles simples et interprétables pour prédire les réponses à l'immunothérapie des patients atteints de CPNC par une sélection de variables rigoureuse et des modèles simples tels que la régression logistique. Nous prouvons que la combinaison de biomarqueurs hétérogènes trouvés donne une base puissante pour prédire la réponse à l'immunothérapie.
Fichier principal
Vignette du fichier
2023COAZ4139.pdf (212.83 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04531885 , version 1 (04-04-2024)

Identifiants

  • HAL Id : tel-04531885 , version 1

Citer

Hugo Schmutz. Semi-supervised learning, PET/CT segmentation and prediction of the tumoral response to immunotherapy. Machine Learning [stat.ML]. Université Côte d'Azur, 2023. English. ⟨NNT : 2023COAZ4139⟩. ⟨tel-04531885⟩
0 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More