Evaluation of Deep Image Generation Through the Lens of Privacy and Utility - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Evaluation of Deep Image Generation Through the Lens of Privacy and Utility

Evaluation de la synthèse d'images au travers du prisme de la confidentialité

Résumé

Modern image generators, such as stable diffusion or Midjourney, have become large scale, complex and general systems. As the wide spread application and use of these systems grow, so do their potential problem areas. In this thesis we investigate how generative models can leak information about their training data and the problems that poses to both the systems and the users. Systems such as Midjourney are trained with data gathered from the web and protected content can appear during generation without attribution. As generative models also have widespread application in the medical domain, it's imperative for the utility of the generative model to not generate data with strict privacy protections. We present the automatic evaluation of generative models, with a focus on these issues. We first present several statistical measures that can measure the image quality of deep generators, the diversity of generated images and finally measure their ability to overfit training samples. For the rest of the thesis, we study the problem of membership inference. We investigate a diverse set of factors that lead to vulnerability to membership attacks. On the other hand, we also observe many training setups which lead to robustness and empirical privacy. We present several new membership attacks that made improvements over the state of the art. Finally, we present a state of the art data extraction attack, capable of reconstructing training images from the most widely used generation systems.
Les générateurs d'images modernes, tels que Stable Diffusion ou Midjourney, sont devenus des systèmes à grande échelle, complexes et généraux. À mesure que l'application et l'utilisation de ces systèmes se généralisent, leurs éventuels problèmes se multiplient. Dans cette thèse, nous étudions comment les modèles génératifs peuvent fuiter des informations sur leurs données d'entraînement et les problèmes que cela pose à la fois aux systèmes et aux utilisateurs. Des systèmes comme Midjourney sont entrainés avec des données collectées sur le web et des contenus protégés peuvent apparaître pendant la génération sans notification d'attribution. Comme les modèles génératifs ont également une application répandue dans le domaine médical, il est impératif pour l'utilité du modèle génératif de ne pas générer de données sous protection stricte de la vie privée. Nous présentons l'évaluation automatique des modèles génératifs, avec un accent sur ces problèmes. Nous présentons d'abord plusieurs mesures statistiques qui peuvent mesurer la qualité des images produites par de tels générateurs profonds, leur diversité et enfin mesurer leur capacité à surapprendre les échantillons d'entraînement. Pour le reste de la thèse, nous étudions le problème de l'inférence d'appartenance. Nous étudions un ensemble divers de facteurs qui conduisent à la vulnérabilité aux attaques d'appartenance. D'un autre côté, nous observons également de nombreuses configurations d'entraînement qui assurent empiriquement la robustesse et la confidentialité. Nous présentons plusieurs nouvelles attaques d'appartenance permettant des améliorations par rapport à l'état de l'art. Enfin, nous présentons une attaque de pointe pour l'extraction de données, capable de reconstruire des images d'entraînement à partir des systèmes de génération les plus largement utilisés.
Fichier principal
Vignette du fichier
sygal_fusion_44747-webster-ryan_65f81e3e833d0.pdf (37.79 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04509176 , version 1 (18-03-2024)

Identifiants

  • HAL Id : tel-04509176 , version 1

Citer

Ryan Webster. Evaluation of Deep Image Generation Through the Lens of Privacy and Utility. Machine Learning [cs.LG]. Normandie Université, 2023. English. ⟨NNT : 2023NORMC279⟩. ⟨tel-04509176⟩
83 Consultations
4 Téléchargements

Partager

Gmail Facebook X LinkedIn More