Deep Learning on Incomplete and Multi-Source Data : Application to Cancer Immunotherapy
Apprentissage profond à partir de données incomplètes et multi-sources : application à l’immunothérapie contre le cancer
Résumé
In this thesis work, we are interested in Machine Learning, and more specifically in the Deep Learning field, based on incomplete and multi-source data. We aim to propose innovative approaches for dealing with incomplete data in Machine Learning, and more specifically when training Neural Networks. We also focus on maximizing learning performance on multi-source data, by designing a new advanced Supervised Domain Adaptation approach. The application of our work is part of the European research project QUALITOP, which aims at improving the quality of life of patients suffering of cancer and undergoing immunotherapy treatment. We aim to design predictive models that will be integrated within an open smart digital platform to offer real-time recommendations to medical experts. Our predictive models will provide a valuable help for medical experts, to personalize and optimize treatment strategies for each patient, and help identify factors influencing patients health status. Ultimately, those predictive models can lead to designing and providing more efficient and safer immunotherapy treatments, benefiting patients and healthcare providers alike.In this work, we are interested in maximizing predictive performance in the specific context of incomplete and multi-source data. To achieve this goal, we have directed our attention towards addressing critical research challenges that are highly relevant to this learning context and to the QUALITOP project. We first introduce a new innovative attribute noise correction method, data Denoising and Imputation in One Step (DIOS). DIOS is the first approach in the Machine Learning literature that is able to impute missing values and correct erroneous ones in a tabular dataset as a unique preprocessing step. We are then interested in maximizing Neural Network learning performance when trained on completed data. In this context, we propose two frameworks that can be used to account for imputation uncertainty during Neural Network training, leading to better predictions, Single-Hotpatching (S-HOT) and Multiple-Hotpatching (M-HOT). This work is a first step towards finding better ways to deal with missing values imputation for training predictive models, in the hope that it spikes the interest of other researchers throughout the world on this matter. Then we propose a new advanced Domain Adaptation (DA) method, Weighted Multi-Source Supervised Domain Adaptation (WMSSDA). WMSSDA is able to extract valuable knowledge from several labeled source datasets, to improve learning performance on a related target dataset. Our proposed approach includes a new component that helps limiting negative transfer through an adaptive scaling of the impact of each source on the training of the model. Finally, we showcase the application of our complete work in a unified predictive pipeline, that we apply with great success in a real-world medical scenario, highlighting the pertinence of our work for medical prediction and for the QUALITOP project.
Dans ce travail de thèse, nous nous intéressons à l'apprentissage automatique, et plus particulièrement au domaine de l'apprentissage profond, à partir de données incomplètes et multi-sources. Nous visons à proposer des approches innovantes pour le traitement des données incomplètes en apprentissage automatique, et plus spécifiquement lors de l'entraînement de réseaux de neurones. Nous nous concentrons également sur l'optimisation des performances d'apprentissage sur des données multi-sources, en concevant une nouvelle approche avancée d'adaptation de domaines supervisée. L'application de notre travail fait partie du projet de recherche européen QUALITOP, visant à améliorer la qualité de vie de patients souffrant de cancer et suivant un traitement par immunothérapie. Nous visons à concevoir des modèles prédictifs, qui seront intégrés au sein d'une plateforme numérique intelligente ouverte, afin d'offrir des recommandations en temps réel à des experts médicaux. Nos modèles prédictifs fourniront une aide précieuse aux experts, les aidant à personnaliser et à optimiser les stratégies de traitement pour chaque patient, ainsi qu'à identifier les facteurs influençant leur état de santé. En fin de compte, ces modèles prédictifs peuvent conduire à la conception et à la prescription de traitements par immunothérapie plus efficaces et plus sûrs, bénéficiant ainsi aux patients ainsi qu'aux médecins.Dans ce travail, nous nous intéressons à maximiser la performance prédictive dans le contexte spécifique des données incomplètes et multi-sources. Pour atteindre cet objectif, nous avons orienté notre attention vers la résolution de problèmes de recherche critiques et pertinents pour notre contexte d'apprentissage et pour le projet QUALITOP. Nous introduisons d'abord une nouvelle méthode innovante de correction de bruit d'attributs, data Denoising and Imputation in One Step (DIOS). DIOS est la première approche dans la littérature de l’Apprentissage Automatique capable d’imputer les valeurs manquantes et de corriger les valeurs erronées dans un jeu de données tabulaires en une unique étape de prétraitement. Nous nous intéressons ensuite à maximiser la performance d’apprentissage des réseaux de neurones lorsqu’ils sont entraînés sur des données complétées. Dans ce contexte,nous proposons deux frameworks pouvant être utilisés pour tenir compte de l’incertitude d’imputation lors de l’entraînement des réseaux de neurones, conduisant à de meilleures prédictions, Single-Hotpatching (S-HOT) et Multiple-Hotpatching (M-HOT). Ce travail est une première étape vers la recherche de meilleures manières de traiter l'imputation de valeurs manquantes pour l'entraînement de modèles prédictifs, dans l'espoir de susciter l'intérêt d'autres chercheurs autour du monde sur cette question. Par la suite, nous proposons une nouvelle méthode avancée d'adaptation de domaine,Weighted Multi-Source Supervised Domain Adaptation (WMSSDA). WMSSDA est capable d'extraire des connaissances précieuses de plusieurs jeux de données labellisés, afin d'améliorer la performance d'apprentissage sur un jeu de données similaire. Notre approche proposée inclut un nouveau composant aidant à limiter le transfert négatif grâce à une pondération adaptative de l'impact de chaque source sur l'entraînement du modèle. Enfin, nous présentons l'application de notre travail complet, unifié au sein d'un pipeline prédictif, que nous appliquons avec grand succès dans un scénario médical réel, soulignant la pertinence de notre travail pour la prédiction médicale.
| Origine | Version validée par le jury (STAR) |
|---|