Débruitage vidéo et applications
Video denoising and applications
Résumé
This thesis studies the problem of video denoising. In the first part we focus on patch-based video denoising methods. We study in details VBM3D, a popular video denoising method, to understand the mechanisms that made its success. We also present a real-time implementation on GPU of this method. We then study the impact of patch search in video denoising and in particular how searching for similar patches in the entire video, a global patch search, improves the denoising quality. Finally, we propose a novel causal and recursive method called NL-Kalman that produces very good temporal consistency.In the second part, we look at the newer trend of deep learning for image and video denoising. We present one of the first neural network architecture, using temporal self-similarity, competitive with state-of-the-art patch-based video denoising methods. We also show that deep learning offers new opportunities. In particular, it allows for denoising without knowing the noise model. We propose a framework that allows denoising of videos that have been through an unknown processing pipeline. We then look at the case of mosaicked data. In particular, we show that deep learning is undeniably superior to previous approaches for demosaicking. We also propose a novel training process for demosaicking without ground-truth based on multiple raw acquisition. This allows training for real case applications. In the third part we present different applications taking advantage of mechanisms similar those studied for denoising. The first problem studied is anomaly detection. We show that this problem can be reduced to detecting anomalies in noise. We also look at forgery detection and in particular copy-paste forgeries. Just like for patch-based denoising, solving this problem requires searching for similar patches. For that, we do an in-depth study of PatchMatch and see how it can be used for detecting forgeries. We also present an efficient method based on sparse patch matching.
Cette thèse est dédiée es débruitage vidéo. La première partie se concentre sur les méthodes de débruitage de vidéo à patches. Nous étudions en détail VBM3D, une méthode populaire de débruitage vidéo, pour comprendre les méchanismes qui ont fait son succès. Nous présentons aussi une implémentation temps-réel sur care graphique de cette méthode. Nous étudions ensuite l'impacte de la recherche de patches pour le débruitage vidéo et en particulier commen une recherche globale peut améliorer la qualité du débruitage. Enfin, nous proposons une nouvelle méthode causale et récursive appelée NL-Kalman qui produit ne rès bonne consistance temporelle.Dans la deuxième partie, nous étudions les méthodes d'apprentissage pour le débruitage. Nous présentons l'une des toutes premières architecture de réseau qui est compétitive avec l'état de l'art. Nous montrons aussi que les méthodes basées sur l'apprentissage profond offrent de nouvelles opportunités. En particulier, il devient possible de débruiter sans connaître le modèle du bruit. Grâce à la méthode proposée, même les vidéos traitées par une chaîne de traitement inconnue peuvent être débruitées. Nous étudions aussi le cas de données mosaïquées. En particulier, nous montrons que les réseaux de neurones sont largement supérieurs aux méthodes précédentes. Nous proposons aussi une nouvelle méthode d'apprentissage pour démosaïckage sans avoir besoin de vérité terrain.Dans une troisième partie nous présentons différentes application aux techniques utilisées pour le débruitage. Le premier problème étudié est la détection d'anomalie. Nous montrons que ce problème peut être ramené à détecter des anomalies dans du bruit. Nous regardons aussi la détection de falsification et en particulier la détection de copié-collé. Tout comme le débruitage à patches, ce problème peut être résolu à l'aide d'une recherche de patches similaires. Pour cela, nous étudions en détail PatchMatch et l'utilisons pour détecter des falsifications. Nous présentons aussi une méthode basée sur une association de patches parcimonieuse.
| Origine | Version validée par le jury (STAR) |
|---|