Video inpainting techniques : application to object removal and error concealment - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2014

Video inpainting techniques : application to object removal and error concealment

Inpainting video: applications à la suppression d'objets et à la dissimulation d'erreurs

Résumé

This thesis presents video inpainting tools to efficiently recover spacetime holes in different kinds of video sequences. Two categories of video inpainting approaches are particularly studied. The first category concerns exemplar-based approach. Several contributions have been proposed for this approach. Neighbor embedding techniques have been proposed for patch sampling using two data dimensionality reduction methods: non-negative matrix factorization (NMF) and locally linear embedding (LLE). The proposed framework have been also adapted to the error concealment application by using a preprocessing step of motion estimation. A multiresolution approach has been considered to reduce the computational time of the method. The experimental evaluations demonstrate the effectiveness of the proposed video inpainting approach in both object removal and error concealment applications. The video inpainting problem has been also solved using a second approach based on the optimization of a well-defined cost function expressing the global consistency of the recovered regions. The camera moving videos has later been takled by using a region-based homography. The neighboring frames in the sequence are aligned based on segmented planar regions. This method has been shown to give better performance compared to classical optimized pixel-based homography.
Cette thèse présente des outils d’inpainting vidéo permettant de reconstruire de manière efficace les zones perdues d’une séquence vidéo. Deux catégories d’approches sont particulièrement étudiées. Dans une première étape les approches basées sur l’exemple sont considérées. Différentes contributions ont été proposées. Une application des méthodes de neighbor embedding pour l’approximation des pixels perdus dans un exemple est d’abord considérée en utilisant deux méthodes de réduction de dimensionnalité: la factorisation de matrice non négative (FMN) et le locally linear embedding (LLE). La méthode d’inpainting proposée a été ensuite adaptée à l’application de dissimulation des erreurs en utilisant une étape de pré-traitement d’estimation des vecteurs de mouvement perdus. Une approche multiresolution a également été considérée pour réduire la complexité. Les évaluations expérimentales de cette approche démontrent son efficacité dans les applications de suppression des objets et de dissimulation des erreurs. Une deuxième catégorie de méthodes de vidéo inpaintinting a été par la suite étudiée en utilisant une approche basée sur l’optimisation globale d’une fonction d’énergie exprimant la cohérence spatio temporelle de la région reconstruite. Enfin, le problème d’inpainting des vidéos capturées par des caméras en mouvement a été étudié. L’alignement des images en utilisant une homographie par région montre de meilleure performances que les méthodes classiques d’alignement par optimisation d’une homographie par pixel.
Fichier principal
Vignette du fichier
thesis_Mounira_Ebdelli.pdf (27.83 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-01093202 , version 1 (10-12-2014)

Identifiants

  • HAL Id : tel-01093202 , version 1

Citer

Mounira Ebdelli. Video inpainting techniques : application to object removal and error concealment. Image Processing [eess.IV]. Université de Rennes 1, 2014. English. ⟨NNT : ⟩. ⟨tel-01093202⟩
291 Consultations
758 Téléchargements

Partager

Gmail Facebook X LinkedIn More