Auxiliary tasks for the conditioning of generative adversarial networks - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Auxiliary tasks for the conditioning of generative adversarial networks

Conditionnement par tâches auxiliaires des réseaux antagonistes génératifs

Résumé

During the last decade, Generative Adversarial Networks (GANs) have caused a tremendous leap forward in image generation as a whole. Their ability to learn very complex, high-dimension distributions not only had a huge impact on the field of generative modeling, their influence extended to the general public at large. By being the first models able generate high-dimension photo-realistic images, GANs very quickly gained popularity as an image generation and photo manipulation technique. For example, their use as "filters" became common practice on social media, but they also allowed for the rise of Deepfakes, images that have been manipulated in order to fake the identity of a person. In this thesis, we explore the conditioning of Generative Adversarial Networks, that is influencing the generation process in order to control the content of a generated image. We focus on conditioning through auxiliary tasks, that is we explicitly implement additional objective to the generative model to complement the initial goal of learning the data distribution. First, we introduce generative modeling through several examples, and present the Generative Adversarial Networks framework. We discuss theoretical interpretations of GANs as well as its most prominent issues, notably the lack of stability during training of the model and the difficulty to generate diverse samples. We review classical techniques for conditioning GANs and propose an overview of recent approaches aiming to both solve the aforementioned issues and enhance the visual quality of the generated images. Afterwards, we focus on a specific generation task that requires conditioning : image reconstruction. In a nutshell, the problem consists in recovering an image from which we only have a handful of pixels available, usually around 0.5%. It stems from an application in geostatistics, namely the reconstruction of underground terrain from a reduced amount of expensive and difficult to obtain measurements. To do so, we propose to introduce an explicit auxiliary reconstruction task to the GAN framework which, in addition to a diversity-restoring technique, allows for the generation of high-quality images that respect the given measurements. Finally, we investigate a task of domain-transfer with generative models, specifically transferring images from the RGB color domain to the polarimetric domain. Polarimetric images bear hard constraints that directly stem from the physics of polarimetry. Leveraging on the cyclic-consistency paradigm, we extend the training of generative models with auxiliary tasks that push the generator towards enforcing the polarimetric constraints. We highlight that the approach manages to generate physically realistic polarimetric.
Au cours de la dernière décennie, les réseaux génératifs antagonistes (Generative Adversatial Networks, ou GANs) ont révolutionné la génération d’images dans son ensemble. Leur capacité à apprendre des distributions très complexes en grande dimension ils ont eu un impact important sur le domaine des modèles génératifs et leur influence s’est largement étendue au grand public. En effet, en étant les premiers modèles capables de générer des images photo-réalistes en haute dimension, ils ont très vite gagné en popularité en tant que technique de génération d’images et de manipulation de photos. Par exemple, leur utilisation en tant que "filtres" est devenue une pratique courante sur les médias sociaux : ils ont également permis l’essor des Deepfakes, des images manipulées afin de falsifier l’identité d’une personne. Dans cette thèse, nous étudions le conditionnement des réseaux génératifs antagonistes, c’est-à-dire influencer le processus de génération afin de contrôler le contenu d’une image générée. Nous nous concentrons sur le conditionnement par le biais de tâches auxiliaires, c’est-à-dire l’utilisation d’un ou plusieurs objectifs supplémentaires au modèle génératif en plus de l’objectif initial d’apprentissage de la distribution des données. Nous introduisons les principes de la modélisation générative à travers plusieurs exemples, et nous présentons le cadre des réseaux génératifs antagonistes. Nous analysons les interprétations théoriques de ce modèle ainsi que ses problèmes les plus importants, notamment l’instabilité de l’apprentissage du modèle et la difficulté de générer des échantillons diversifiés. Nous passons en revue les techniques classiques de conditionnement des GAN et proposons un aperçu des approches récentes visant à résoudre ses problèmes et à améliorer la qualité visuelle des images générées. Dans la suite de la thèse, nous nous concentrons sur une tâche de génération spécifique qui nécessite un conditionnement : la reconstruction d’images. Ce problème consiste à générer une image dont nous ne connaissons qu’un nombre très réduit de pixels à priori, généralement autour de 0,5 %. Ceci est motivé par une application directe en géostatistique : la reconstruction de données géologiques de sous-sols à partir d’une très petite quantité de mesures coûteuses et difficiles à obtenir. Pour ce faire, nous proposons d’introduire une tâche de reconstruction auxiliaire explicite dans le cadre du GAN qui, combinée à une technique de restauration de la diversité, a permis de générer des images de haute qualité qui respectent les mesures données. Dans la deuxième contribution nous étudions une tâche de transfert de domaine avec des modèles génératifs, en particulier le transfert d’images du domaine couleur au domaine polarimétrique. Les images polarimétriques sont soumises à des contraintes strictes qui découlent directement des propriétés physiques de la polarimétrie. En s’appuyant sur l’approche de cohérence cyclique, nous étendons la formulation des modèles génératifs avec des tâches auxiliaires qui poussent le générateur à faire respecter les contraintes polarimétriques. Nous montrons que cette approche permet non seulement de générer des images polarimétriques physiquement réalistes, mais que l’utilisation des images générées comme données augmentées augmente la performance des modèles de détection d’objets sur des applications d’analyse de scène routière.
Fichier principal
Vignette du fichier
RUFFINO.pdf (22.73 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03517304 , version 1 (07-01-2022)

Identifiants

  • HAL Id : tel-03517304 , version 1

Citer

Cyprien Ruffino. Auxiliary tasks for the conditioning of generative adversarial networks. Computer Vision and Pattern Recognition [cs.CV]. Normandie Université, 2021. English. ⟨NNT : 2021NORMIR06⟩. ⟨tel-03517304⟩
130 Consultations
40 Téléchargements

Partager

Gmail Facebook X LinkedIn More