On the evaluation and generalization of visual representations
De l'évaluation et la généralisation des représentations visuelles
Résumé
A primary goal of computer vision is to equip machines with the ability to extract information from visual data, such as images or videos, and thereby enable them to perform tasks defined on such data. While the specifics of the information to be extracted from data hinges on the task at hand, solving many complex tasks simultaneously necessitates a mechanism capable of extracting a comprehensive set of information from data. Therefore, substantial effort has been dedicated to the development of deep learning models capable of encoding such information into robust visual representations.A prominent strategy in this context involves initially training a model on a large-scale dataset, such as ImageNet-1K, and subsequently employing this model for the task at hand. In order to ensure that the model can successfully handle a variety of downstream tasks with minimal effort, the focus in this preliminary training phase is on learning image representations that can exhibit cross-task applicability, i.e., transfer from the initial task to downstream tasks.This thesis delves into learning transferable image representations by deep neural networks from three aspects. In the first part, we focus on evaluating the transferability of representations from the perspective of concept generalization, wherein the aim is to accurately recognize unseen concepts, i.e., concepts not encountered during the model’s training phase. We do this by proposing ImageNet-CoG, a benchmark including downstream tasks specifically designed for measuring concept generalization, and conducting an exhaustive evaluation of different representation learning methods on this benchmark. Our findings reveal that self-supervised methods are more resilient to concept generalization, i.e., they learn more transferable representations for semantically less similar unseen concepts. Whereas, supervised methods tend to overfit more to the concepts seen during training, achieving better performance on seen concepts while learning less transferable representations for unseen ones.Drawing from these observations, in the second part, we combine the strengths of supervised and self-supervised methods to maintain high performance on both seen concepts and downstream tasks. By adapting supervised methods with the techniques derived from the recent self-supervised methods, we devise an improved training setup for supervised learning on ImageNet-1K. Models trained with our improved setup learn more transferable representations than the most recent self-supervised methods, when evaluated on a large collection of downstream image classification tasks. By further enhancing this setup with a prototype-based classification model, we achieve state-of-the-art performance on ImageNet-1K (seen concepts) and the downstream tasks.Lastly, in the third part, inspired by the recent surge in text-to-image generative models producing high-quality realistic images, we study whether such synthetic images allow training supervised models that can be utilized as effectively as models trained on real images. To investigate this, we generate synthetic clones of ImageNet-1K using Stable Diffusion and then train supervised models on these synthetic clones. Upon evaluating the resulting models on datasets comprising real images, we observe that training models on synthetic data leads to more transferable representations.Lastly, in the third part, inspired by the recent surge in text-to-image generative models producing high-quality realistic images, we study whether such synthetic images allow training supervised models that can be utilized as effectively as models trained on real images. To investigate this, we generate synthetic clones of ImageNet-1K using Stable Diffusion and then train supervised models on these synthetic clones. Upon evaluating the resulting models on datasets comprising real images, we observe that training models on synthetic data leads to more transferable representations.
Un des objectifs principaux de la vision par ordinateur est de doter les machines de la capacité d’extraire des informations à partir de données visuelles, telles que les images ou les vidéos, leur permettant ainsi d’effectuer des tâches définies sur ces données. Bien que les informations à extraire de ces données dépendent fortement de la tâche à accomplir, la résolution simultanée de plusieurs tâches complexes nécessite un mécanisme capable d’extraire un ensemble complet d’informations à partir de ces données. Par conséquent, des efforts substantiels ont été consacrés au développement de modèles d’apprentissage profond capables d’encoder ces informations dans des représentations visuelles robustes.Une stratégie de premier plan dans ce contexte consiste à entrainer un modèle initial sur un ensemble de données à grande échelle, tel que la base d’images ImageNet-1K, puis à utiliser ce modèle pour la tâche à accomplir. Afin de s’assurer de la capacité du modèle à gérer une variété de tâches cibles avec un minimum d’effort, l’accent est mis dans cette phase de pré-entrainement sur l’apprentissage de représentations d’images qui généralisent entre les tâches.Cette thèse se penche sur l’apprentissage de représentations d’images transférables par des réseaux de neurones profonds, et considère trois aspects. Dans une première partie, nousnous intéressons à l’évaluation de la transférabilité des représentations sous l’angle de la généralisation à de nouveaux concepts. L’objectif est de reconnaître des concepts non rencontrés lors de la phase d’apprentissage du modèle. Pour ce faire, nous proposons ImageNet-CoG,un ‘benchmark’ comprenant des tâches cibles spécifiquement conçues pour mesurer la généralisation d’un modèle à de nouveaux concepts. Nous procédons à une évaluation minutieuse de différentes méthodes d’apprentissage de représentations visuelle sur ce benchmark. Nos résultats révèlent que les méthodes auto-supervisées sont plus résiliantes à la généralisation à de nouveaux concepts. A l’inverse, les méthodes supervisées ont tendance à davantage sur-apprendre les concepts vus pendant l’entrainement, obtenant de meilleures résultats sur ceux-ci.Partant de ce constat, dans une deuxième partie, nous combinons les atouts des apprentissages supervisé et auto-supervisé afin d’obtenir de bonnes performances à la fois sur les concepts de la tâche d’apprentissage mais aussi sur les tâches de transfert. En adaptant les méthodes supervisées afin qu’elles utilisent des techniques empruntées aux méthodes auto-supervisées récentes, nous proposons une amélioration de l’apprentissage supervisé sur ImageNet-1K. Les modèles entrainés avec cette configuration améliorée apprennent des représentations plus transférables que les méthodes auto-supervisées les plus récentes, lorsqu’ils sont évalués sur une large collection de tâches cibles de classification d’images. En améliorant encore cette configuration avec un modèle de classification basé sur des prototypes, nous obtenons des performances état de l’art sur ImageNet-1K (concepts observés pendant l’apprentissage) ainsi que sur les tâches cibles.Enfin, dans la troisième partie, inspirés par l’essor récent des modèles génératifs texte-image produisant des images réalistes de grande qualité, nous étudions si de telles images de synthèse permettent d’entraîner des modèles supervisés pouvant être utilisés à la place de modèles entraînés sur des images réelles. Pour étudier cela, nous générons des clones synthétiques d’ImageNet-1K à l’aide de l’outil Stable Diffusion, puis entrainons des modèles supervisés sur ces clones synthétiques. Lors de l’évaluation des modèles obtenus de cette façon sur des ensembles de données composés d’images réelles, nous observons que l’apprentissage de modèles à partir de données synthétiques produit des représentations plus transférables.
| Origine | Version validée par le jury (STAR) |
|---|