Controllable Generative Models for Image Editing and Data Augmentation
Contrôle des modèles génératifs pour l'édition d'images et l'augmentation de données
Résumé
Generative modelling applied to visual content has recently made significant progress. Generative models now generate high-resolution, high-quality and diverse images. For various applications such as data augmentation, controlling the properties of the synthesized images is highly desirable to tailor the generated images for a specific downstream task and improve the diversity of training datasets. This thesis aims at defining means to improve this control and exploring how to use it for generating effective and diversified data augmentation. We first investigate two limitations that arise when controlling the generated images by exploiting the latent space of pre-trained generative models. These models implicitly learn semantic representations of the images that can be manipulated with semantic directions to edit specific semantic attributes. However, the semantic directions commonly affect multiple attributes at once due to biases inherited by the pre-trained models. We demonstrate that this entanglement can be mitigated without post-processing by learning the directions on de-biased datasets.We also explore explicitly-enforced disentanglement with pre-trained attribute classifiers. We expose that the dependence on these models, that are known to lack robustness, can lead to unrealistic edited images. We thus introduce an alternative approach using the optimal transport framework. This framework allows to maintain closeness with real images and the optimality criterion can be leveraged to enforce disentanglement. We demonstrate competitive performances with a classifier-based approach while ensuring more reliability.Then, we explore the use of large pre-trained models conditioned on text to synthesize training datasets. We demonstrate that text control might be insufficient for tasks that require compositionality. We thus propose to add a task-specific conditioning to adapt these models to generate precise augmentations suitable for supervised learning. We also introduce a strategy to diversify the augmentations by exploiting the dual conditioning - task-specific and text - prompting the generative model with novel but plausible pairs. We apply our method to the task of few-shot object counting and demonstrate that our augmentations result in enhancing the performances of counting networks.
La modélisation générative appliquée au contenu visuel a récemment fait des progrès significatifs. Les modèles génératifs génèrent maintenant des images haute résolution, de haute qualité et diversifiées. Pour de nombreuses applications telles que l'augmentation de données, il est souhaitable de contrôler les propriétés des images synthétisées afin de personnaliser les images générées pour une tâche spécifique et d'améliorer la diversité des ensembles de données d'entraînement. Cette thèse vise à définir des moyens d'améliorer ce contrôle et à explorer comment l'utiliser pour générer une augmentation de données efficace et diversifiée. Nous examinons d'abord deux limitations qui se posent lors du contrôle des images générées en exploitant l'espace latent de modèles génératifs pré-entraînés. Ces modèles apprennent implicitement des représentations sémantiques des images qui peuvent être manipulées avec des directions sémantiques pour éditer des attributs sémantiques spécifiques. Cependant, les directions sémantiques affectent couramment plusieurs attributs à la fois en raison des biais hérités des modèles pré-entraînés. Nous démontrons que cet emmêlement peut être atténué sans post-traitement en apprenant les directions sur des ensembles de données débiaisés.Nous explorons également le désemmêlement explicite à l'aide de classifieurs d'attributs pré-entraînés. Nous montrons que la dépendance à l'égard de ces modèles, connus pour leur manque de robustesse, peut conduire à des images éditées irréalistes. Nous introduisons donc une approche alternative utilisant le cadre du transport optimal. Ce cadre permet de maintenir une proximité avec les images réelles et le critère d'optimalité peut être utilisé pour imposer le désemmêlement. Nous démontrons des performances compétitives par rapport à une approche basée sur des classifieurs, tout en assurant une plus grande fiabilité.Ensuite, nous explorons l'utilisation de modèles pré-entraînés sur des grandes bases de données et conditionnés par du texte pour synthétiser des ensembles de données d'entraînement. Nous montrons que le contrôle par texte peut être insuffisant pour les tâches nécessitant de la compositionnalité. Nous proposons donc d'ajouter une condition spécifique à la tâche pour adapter ces modèles afin de générer des augmentations précises adaptées à l'apprentissage supervisé. Nous proposons également une stratégie pour diversifier les augmentations en exploitant la double condition - spécifique à la tâche et texte - guidant le modèle génératif avec des paires nouvelles mais plausibles. Nous appliquons notre méthode à la tâche du comptage d'objets à partir de quelques exemples et démontrons que nos augmentations améliorent les performances des réseaux de comptage.
| Origine | Version validée par le jury (STAR) |
|---|