Example-based Video Editing
Édition de Video Basée-exemple
Résumé
The objective of this thesis is to provide new techniques for example-based video editing. We address three related problems: color transfer, tonal stabilization and style transfer. The first problem consists in transferring colors from an
example image. We provide an efficient solution that maps color distributions by optimal transportation and performs a smooth color transformation that creates no artifacts.
The second problem is related to tonal fluctuation in videos. Due to the automatic settings of consumer cameras, the colors of objects in image sequences might change over time. We present a fast and computationally light method to stabilize video tonal appearance using a minimally-viable color correction model.
Finally, we discuss the problem of transferring the style of an example image to a source image. The complex notion of image style is considered as a local texture transfer, eventually coupled with a global color transfer. For the local texture
transfer, we propose a new patch-based method using an adaptive partition that captures the style of the example image and preserves the structure of the source image.
L'objectif de cette thèse est d'étudier et de proposer des nouvelles approches pour l'édition d'images, et plus généralement des vidéos, en tenant compte des caractéristiques telles que la couleur et la texture des images d'exemple. Ce manuscrit présente trois problèmes connexes dans le cadre de l'édition des vidéos basé exemple: le transfert de couleur, la stabilisation tonale et le transfert de style. Le transfert de couleur est un processus pour modifier la couleur d'une image d'entrée en fonction de la palette de couleurs d'une image d'exemple. Nous fournissons une solution efficace qui mappe la répartition des couleurs par le transport optimal et régularise la transformation par une interpolation 3D. Ce mappage régularisé ne crée pas des artefacts dans l'image transformée, ce qui est un net avantage par rapport aux méthodes de transfert des couleurs précédentes.
La stabilisation tonale des vidéos consiste à bien corriger l'instabilité tonale, qui est un artefact temporelle particulière caractérisée par des fluctuations dans les couleurs des images adjacentes d'une vidéo. Nous présentons une méthode rapide et computationnellement légère pour stabiliser les couleurs en utilisant un modèle de transformation tonale par loi de puissance. Enfin, la transformation proposée est temporellement pondéré en fonction de l'amplitude de mouvement dans la vidéo comme une mesure pour éviter l'écrêtage des couleurs et la génération d'artefact.
Le transfert de style est la tâche de transformer une image de telle manière qu'elle imite le style d'un exemple donné, par exemple, pour rendre une image pour la faire ressembler au style d'un tableau. On montre que le problème du transfert de style peut être approché par un transfert de textures par ``patches'' utilisant une partition adaptative combiné avec un transfert global de couleur. Le problème du transfert de texture a ensuite été modélisée comme la recherche de la configuration d'étiquetage optimale pour tous les patches sur un champ de Markov. Les résultats sur diverses images et vidéos montrent que la technique proposée est compétitive avec les algorithmes de transfert de style les plus récents.