Image restoration with deep generative models
Restauration d'images avec des modèles génératifs profonds
Résumé
Image restoration tasks, such as deblurring, or super-resolution, can be cast as inverse problems, where we seek to retrieve a clean image from a degraded observation.In order to determine how to recreate the missing information in the degraded observation, it is necessary to define a model of the properties of the expected solution. From a Bayesian perspective, this model of the solution is defined as the prior, and solving the inverse problem amounts to finding an image that provides a good compromise between the prior model and fidelity with the observation.Deep generative models (DGMs) define an accurate probabilistic model of the distribution of natural images that can be exploited to solve challenging image inverse problems.Deep generative models provide unprecedented performance on image modeling tasks by exploiting deep neural networks and large training datasets.However, using those models for image restoration raises several challenges, that we aim to address in this work.First we consider to problem of defining a neural-network regularization function when training data are limited. Specifically, we introduce an adversarial strategy to train a regularization network without labeled dataset, and with only small image patches. Next, we investigate the use of hierarchical variational autoencoders (HVAEs) as a prior to regularize image inverse problems. HVAE define expressive generative models and comes with a powerful encoder that facilitate manipulations of the HVAE latent variables.We demonstrate that by exploiting the HVAE encoder we can develop image restoration methods that provide an advantageous trade of between computational efficiency and restoration quality. In particular, we introduce PnP-HVAE, an iterative algorithm motivated by alternate optimization scheme, designed to solve generic image inverse problems. PnP-HVAE exploits the HVAE encoder to avoid relying on expensive backpropagation, and it enables us to control the strength of the regularization by tuning the temperature of the latent HVAE priors.Then we present a method specialized in super-resolution. We show that, by combining an encoder trained on low-resolution with the HVAE generative model, we can sample from the posterior distribution of the super-resolution problem with only one network evaluation, with a sample quality on par with those of iterative sampling based methods.
Les problèmes de restauration d'images, comme le défloutage ou la super-résolution sont des problèmes inverses, où l'on cherche à retrouver une image propre à partir d'une observation dégradée.Pour déterminer comment retrouver l'information manquante à partir de l'image dégradée, il est nécessaire de définir un modèle des propriétés attendues de la solution. D'un point de vue Bayésien, ce modèle de la solution est défini comme le modèle a priori, et résoudre le problème inverse revient alors à trouver une image qui offre le meilleur compromis entre respect du modèle a priori et fidélité à l'observation.Les modèles génératifs profonds (MGP) définissent des modèles probabilistes de la distribution des images naturelles, qui peuvent être exploités pour résoudre des problèmes de restauration d'image difficiles.Ces modèles produisent des performances sans précédent pour les tâches de modélisation d'images en exploitant des réseaux de neurones profonds et une grande quantité de données d'apprentissage.Cependant, l'utilisation de MGP pour la restauration d'images pose de nombreux défis, que l'on adresse dans ce travail.En premier lieu, on étudie le problème lié à la définition d'une fonction de régularisation basée sur un réseau de neurones lorsque les données d'entraînement sont limitées. Plus précisément, nous introduisons une stratégie adversarielle pour entraîner un réseau de régularisation sans données d'entrainement étiquetées, et avec seulement des patches d'images.Par la suite, l'on étudie l'utilisation d'auto-encodeurs variationnels hiérarchiques (HVAE) comme modèle a priori. Les modèles HVAE définissent des modèles génératifs expressifs, tout en procurant un encodeur qui facilite la manipulation des variables latentes du modèle.L'on montre qu'il est possible d'exploiter l'encodeur du modèle HVAE pour développer des méthodes de restauration d'images qui procurent un compromis avantageux entre l'efficacité calculatoire et la qualité de la restauration.En particulier, l'on présente PnP-HVAE un nouvel algorithme de restauration d'image basé sur l'utilisation d'un modèle HVAE comme prior. PnP-HVAE prend la forme d'un algorithme d'optimisation alterné, et peut être appliqué de manière flexible pour résoudre des problèmes de restauration génériques. L'algorithme exploite l'encodeur du modèle HVAE pour éviter une étape couteuse de rétro-propagation, et il permet de contrôler le niveau de régularisation par le biais de la température de la distribution a-priori sur l'espace latent du modèle HVAE.Par la suite, on présente une méthode dédiée à la super-résolution. En particulier, on démontre que il est possible d'échantillonner efficacement la distribution postérieure du problème de super-résolution en combinant un encodeur entrainé sur des images basse résolution et le générateur du modèle HVAE.
| Origine | Version validée par le jury (STAR) |
|---|