On Video Completion: Line Scratch Detection in Films and Video Inpainting of Complex Scenes - Ecole Nationale Supérieure des Télécommunications Access content directly
Theses Year : 2014

On Video Completion: Line Scratch Detection in Films and Video Inpainting of Complex Scenes

Sur la Restauration et l'Edition de Vidéo : Détection de Rayures et Inpainting de Scènes Complexes

Abstract

The inevitable degradation of visual content such as images and films leads to the goal of image and video restoration. In this thesis, we look at two specific restoration problems : the detection of line scratches in old films and the automatic completion of videos, or video inpainting as it is also known. Line scratches are caused when the film physically rubs against a mechanical part. This origin results in the specific characteristics of the defect, such as verticality and temporal persistence. We propose a detection algorithm based on the statistical approach known as a contrario methods. We also propose a temporal filtering step to remove false alarms present in the first detection step. Comparisons with previous work show improved recall and precision, and robustness with respect to the presence of noise and clutter in the film. The second part of the thesis concerns video inpainting. We propose an algorithm based on the minimisation of a patch-based functional of the video content. In this framework, we address the following problems : extremely high execution times, the correct handling of textures in the video and inpainting with moving cameras. We also address some convergence issues in a very simplified inpainting context.
La degradation inévitable des contenus visuels (images, films) conduit nécessairement à la tâche de la restauration des images et des vidéos. Dans cetre thèse, nous nous intéresserons à deux sous-problèmes de restauration : la détection des rayures dans les vieux films, et le remplissage automatique des vidéos (“inpainting vidéo en anglais). En général, les rayures sont dues aux frottements de la pellicule du film avec un objet lors de la projection du film. Les origines physiques de ce défaut lui donnent des caractéristiques très particuliers. Les rayures sont des lignes plus ou moins verticales qui peuvent être blanches ou noires (ou parfois en couleur) et qui sont temporellement persistantes, c’est-à-dire qu’elles ont une position qui est continue dans le temps. Afin de détecter ces défauts, nous proposons d’abord un algorithme de détection basé sur un ensemble d’approches statistiques appelées les méthodes a contrario. Cet algorithme fournit une détection précise et robuste aux bruits et aux textures présentes dans l’image. Nous proposons également une étape de filtrage temporel afin d’écarter les fausses alarmes de la première étape de détection. Celle-ci améliore la précision de l’algorithme en analysant le mouvement des détections spatiales. L’ensemble de l’algorithme (détection spatiale et filtrage temporel) est comparé à des approches de la littérature et montre un rappel et une précision grandement améliorés. La deuxième partie de cette thèse est consacrée à l’inpainting vidéo. Le but ici est de remplir une région d’une vidéo avec un contenu qui semble visuellement cohérent et convaincant. Il existe une pléthore de méthodes qui traite ce problème dans le cas des images. La littérature dans le cas des vidéos est plus restreinte, notamment car le temps d’exécution représente un véritable obstacle. Nous proposons un algorithme d’inpainting vidéo qui vise l’optimisation d’une fonctionnelle d’énergie qui intègre la notion de patchs, c’est-à-dire des petits cubes de contenu vidéo. Nous traitons d’abord le probl’‘eme du temps d’exécution avant d’attaquer celui de l’inpainting satisfaisant des textures dans les vidéos. Nous traitons également le cas des vidéos dont le fond est en mouvement ou qui ont été prises avec des caméras en mouvement. Enfin, nous nous intéressons à certaines questions de convergence de l’algorithme dans des cas très simplifiés.
Fichier principal
Vignette du fichier
Thesis_alasdair_newson_conforme.pdf (24.12 Mo) Télécharger le fichier
Loading...

Dates and versions

tel-01136253 , version 1 (26-03-2015)

Identifiers

  • HAL Id : tel-01136253 , version 1

Cite

Alasdair Newson. On Video Completion: Line Scratch Detection in Films and Video Inpainting of Complex Scenes. Image Processing [eess.IV]. Telecom ParisTech, 2014. English. ⟨NNT : ⟩. ⟨tel-01136253⟩
316 View
405 Download

Share

Gmail Mastodon Facebook X LinkedIn More