Controlling image generative models without supervision - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Controlling image generative models without supervision

Contrôle des modèles de génération d'image sans supervision

Résumé

Image generation has made substantial progress in recent years to the point where it becomes difficult to distinguish fake images from real ones. This success is mainly due to the concept of adversarial training: two models train to satisfy conflicting objectives. One called the "discriminator" tries to distinguish the dataset images from images generated by the other model called the "generator" that tries to fool the first one. This fight usually leads to the generation of high-quality images nearly indistinguishable from real ones. This idea has led to various applications from data augmentation to deep-fakes. However, controlling these models remains an open question. In this work, we propose three approaches that address this problem. One is based on the exploration of the latent representation of these models. It has been published at ICLR 2020. Our second work aims to combine two kinds of generative models while keeping their respective strengths: GAN (Generative Adversarial Network) and VAE (Variational Auto-Encoder). VAEs are better understood, their training is usually easier than GANs, and their auto-encoder nature is useful to control their generative process. This second work has been accepted at ICPR 2020. Finaly, our last work presents a framework to generate scene containing multiple objects with explicit control on objects geometric properties without labeled data.
La génération d'images a fait des progrès considérables ces dernières années, au point qu'il devient difficile de distinguer les images fausses des vraies. Ce succès est principalement dû au concept de l'entraînement adversaire : deux modèles s'entraînent pour satisfaire des objectifs contradictoires. L'un, appelé "discriminateur", essaie de distinguer les images du jeu de données des images générées par l'autre modèle, appelé "générateur", qui essaie de tromper le premier. Cette lutte conduit généralement à la génération d'images de haute qualité quasi indécelables des vraies. Cette idée a conduit à diverses applications, de l'augmentation de données aux deep-fakes. Cependant, le contrôle de ces modèles reste une question ouverte. Dans cet travail, nous proposons trois approches qui abordent ce problème. L'une d'entre elles est basée sur l'exploration de la représentation latente de ces modèles. Elle a été publiée à ICLR 2020. Notre deuxième travail vise à combiner deux types de modèles génératifs tout en conservant leurs forces respectives : GAN (Generative Adversarial Network) et VAE (Variational Auto Encoder). Les VAE sont mieux compris, leur entraînement est généralement plus facile que les GAN et leur nature d'autoencodeur est utile pour contrôler leur processus de génération. Ce deuxième travail a été accepté à ICPR 2020. Enfin, notre dernier travail présente un cadre pour générer des scènes contenant plusieurs objets avec un contrôle explicite sur les propriétés géométriques des objets sans données labelisées.
Fichier principal
Vignette du fichier
105628_PLUMERAULT_2023_archivage.pdf (60.16 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04496221 , version 1 (08-03-2024)

Identifiants

  • HAL Id : tel-04496221 , version 1

Citer

Antoine Plumerault. Controlling image generative models without supervision. Artificial Intelligence [cs.AI]. Université Paris-Saclay, 2023. English. ⟨NNT : 2023UPAST140⟩. ⟨tel-04496221⟩
30 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More