Collateral-Free Learning of Deep Representations : From Natural Images to Biomedical Applications - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Collateral-Free Learning of Deep Representations : From Natural Images to Biomedical Applications

Apprentissage sans collatéral des représentations profondes : Des images naturelles aux applications biomédicales

Résumé

Deep Learning (DL) has become one of the predominant tools for solving a variety of tasks, often with superior performance compared to previous state-of-the-art methods. DL models are often able to learn meaningful and abstract representations of the underlying data. However, it has been shown that they might also learn additional features, which are not necessarily relevant or required for the desired task. This could pose a number of issues, as this additional information can contain bias, noise, or sensitive information, that should not be taken into account (e.g. gender, race, age, etc.) by the model. We refer to this information as collateral. The presence of collateral information translates into practical issues when deploying DL-based pipelines, especially if they involve private users' data. Learning robust representations that are free of collateral information can be highly relevant for a variety of fields and applications, like medical applications and decision support systems.In this thesis, we introduce the concept of Collateral Learning, which refers to all those instances in which a model learns more information than intended. The aim of Collateral Learning is to bridge the gap between different fields in DL, such as robustness, debiasing, generalization in medical imaging, and privacy preservation. We propose different methods for achieving robust representations free of collateral information. Some of our contributions are based on regularization techniques, while others are represented by novel loss functions.In the first part of the thesis, we lay the foundations of our work, by developing techniques for robust representation learning on natural images. We focus on one of the most important instances of Collateral Learning, namely biased data. Specifically, we focus on Contrastive Learning (CL), and we propose a unified metric learning framework that allows us to both easily analyze existing loss functions, and derive novel ones. Here, we propose a novel supervised contrastive loss function, ε-SupInfoNCE, and two debiasing regularization techniques, EnD and FairKL, that achieve state-of-the-art performance on a number of standard vision classification and debiasing benchmarks.In the second part of the thesis, we focus on Collateral Learning in medical imaging, specifically on neuroimaging and chest X-ray images. For neuroimaging, we present a novel contrastive learning approach for brain age estimation. Our approach achieves state-of-the-art results on the OpenBHB dataset for age regression and shows increased robustness to the site effect. We also leverage this method to detect unhealthy brain aging patterns, showing promising results in the classification of brain conditions such as Mild Cognitive Impairment (MCI) and Alzheimer's Disease (AD). For chest X-ray images (CXR), we will target Covid-19 classification, showing how Collateral Learning can effectively hinder the reliability of such models. To tackle such issue, we propose a transfer learning approach that, combined with our regularization techniques, shows promising results on an original multi-site CXRs dataset.Finally, we provide some hints about Collateral Learning and privacy preservation in DL models. We show that some of our proposed methods can be effective in preventing certain information from being learned by the model, thus avoiding potential data leakage.
L’apprentissage profond est devenu l'un des outils prédominants pour résoudre une variété de tâches, souvent avec des performances supérieures à celles des méthodes précédentes. Les modèles d'apprentissage profond sont souvent capables d'apprendre des représentations significatives et abstraites des données sous-jacentes. Toutefois, il a été démontré qu'ils pouvaient également apprendre des caractéristiques supplémentaires, qui ne sont pas nécessairement pertinentes ou nécessaires pour la tâche souhaitée. Cela peut poser un certain nombre de problèmes, car ces informations supplémentaires peuvent contenir des biais, du bruit ou des informations sensibles qui ne devraient pas être prises en compte (comme le sexe, la race, l'âge, etc.) par le modèle. Nous appelons ces informations "collatérales". La présence d'informations collatérales se traduit par des problèmes pratiques, en particulier lorsqu'il s'agit de données d'utilisateurs privés. L'apprentissage de représentations robustes exemptes d'informations collatérales peut être utile dans divers domaines, tels que les applications médicales et les systèmes d'aide à la décision.Dans cette thèse, nous introduisons le concept d'apprentissage collatéral, qui se réfère à tous les cas où un modèle apprend plus d'informations que prévu. L'objectif de l'apprentissage collatéral est de combler le fossé entre différents domaines, tels que la robustesse, le débiaisage, la généralisation en imagerie médicale et la préservation de la vie privée. Nous proposons différentes méthodes pour obtenir des représentations robustes exemptes d'informations collatérales. Certaines de nos contributions sont basées sur des techniques de régularisation, tandis que d'autres sont représentées par de nouvelles fonctions de perte.Dans la première partie de la thèse, nous posons les bases de notre travail, en développant des techniques pour l'apprentissage de représentations robustes sur des images naturelles, en se concentrant sur les données biaisées.Plus précisément, nous nous concentrons sur l'apprentissage contrastif (CL) et nous proposons un cadre d'apprentissage métrique unifié qui nous permet à la fois d'analyser facilement les fonctions de perte existantes et d'en dériver de nouvelles.Nous proposons ici une nouvelle fonction de perte contrastive supervisée, ε-SupInfoNCE, et deux techniques de régularisation de débiaisage, EnD et FairKL, qui atteignent des performances de pointe sur un certain nombre de repères de classification et de débiaisage de vision standard.Dans la deuxième partie de la thèse, nous nous concentrons sur l'apprentissage collatéral sur les images de neuro-imagerie et de radiographie thoracique. Pour la neuro-imagerie, nous présentons une nouvelle approche d'apprentissage contrastif pour l'estimation de l'âge du cerveau. Notre approche atteint des résultats de pointe sur l'ensemble de données OpenBHB pour la régression de l'âge et montre une robustesse accrue à l'effet de site. Nous tirons également parti de cette méthode pour détecter des modèles de vieillissement cérébral malsains, ce qui donne des résultats prometteurs dans la classification d'affections cérébrales telles que les troubles cognitifs légers (MCI) et la maladie d'Alzheimer (AD). Pour les images de radiographie thoracique (CXR), nous ciblerons la classification Covid-19, en montrant comment l'apprentissage collatéral peut effectivement nuire à la fiabilité de ces modèles. Pour résoudre ce problème, nous proposons une approche d'apprentissage par transfert qui, combinée à nos techniques de régularisation, donne des résultats prometteurs sur un ensemble de données CXR multisites.Enfin, nous donnons quelques indications sur l'apprentissage collatéral et la préservation de la vie privée dans les modèles DL. Nous montrons que certaines des méthodes que nous proposons peuvent être efficaces pour empêcher que certaines informations soient apprises par le modèle, évitant ainsi une fuite potentielle de données.
Fichier principal
Vignette du fichier
145962_BARBANO_2023_archivage.pdf (11.18 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04512933 , version 1 (20-03-2024)

Identifiants

  • HAL Id : tel-04512933 , version 1

Citer

Carlo Alberto Maria Barbano. Collateral-Free Learning of Deep Representations : From Natural Images to Biomedical Applications. Medical Imaging. Institut Polytechnique de Paris; Università di Torino (Turin, Italie), 2023. English. ⟨NNT : 2023IPPAT038⟩. ⟨tel-04512933⟩
0 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More