Evaluation de la qualité des vidéos panoramiques assemblées - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2018

Evaluation de la qualité des vidéos panoramiques assemblées

Quality evaluation for stitched panoramic videos

Résumé

High quality panoramic videos for immersive VR content are commonly created using a rig with multiple cameras covering a target scene. Unfortunately, this setup introduces both spatial and temporal artifacts due to the difference in optical centers as well as the imperfect synchronization. Traditional image quality metrics cannot be used to assess the quality of such videos, due to their inability to capture geometric distortions. In addition, the lack of a reference to these panoramic videos represents another challenging problem. In this thesis, we propose two approaches for the objective assessment of panoramic videos which offer alternatives to the ground truth and are able to quantify the geometric deformations that are present in stitched videos. These methods are then validated with an empirical experiment that combines human error annotation and eye-tracking. The first approach suggests to compare the overlapping regions of matched pairs prior to blending using a method initially proposed for novel view synthesis and which models three visibility features based on the human visual perception. A combined map is created by pooling the values of the intermediate maps. The second approach investigates the use of the original videos as a reference for the output panorama. We note that this approach is not directly applicable, because each pixel in the final panorama can have one to N sources corresponding to N input videos with overlapping regions. We show that this problem can be solved by calculating the standard deviation of displacements of all source pixels from the displacement of the panorama as a measure of distortion. This makes it possible to compare the difference in motion between two given frames in the original videos and motion in the final panorama. Salience maps based on human perception are used to weight the distortion map for more accurate filtering. An empirical experiment is then conducted with human participants to validate the proposed objective evaluation methods. The experiment aimed at answering the question of whether humans and the objective methods detect and measure the same errors, and exploring which errors are more salient to humans when watching a panoramic video. The methods described have been tested and validated and they yield promising results which show a high correlation between the proposed algorithms and the humans perception as well as provide interesting findings regarding human-based perception for quality metrics. They also open the way to new methods for optimizing video stitching guided by those quality metrics.
Des vidéos panoramiques de haute qualité pour un contenu VR immersif sont généralement créées à l'aide d'une plate-forme avec plusieurs caméras couvrant une scène cible. Malheureusement, cette configuration introduit à la fois des artefacts spatiaux et temporels dus à la différence entre les centres optiques et à la synchronisation imparfaite. Les métriques de qualité d'image traditionnelles ne peuvent pas être utilisées pour évaluer la qualité de telles vidéos, en raison de leur incapacité à capturer les distorsions géométriques. De plus, l’absence de référence à ces vidéos panoramiques représente un autre problème épineux. Dans cette thèse, nous proposons deux approches pour l’évaluation objective de vidéos panoramiques qui offrent une alternative à la vérité de terrain et permettent de quantifier les déformations géométriques présentes dans les vidéos assemblées. Ces méthodes sont ensuite validées par une expérience empirique associant annotation d'erreur humaine et eye-tracking. La première approche suggère de comparer les régions qui se chevauchent de paires appariées avant le mélange en utilisant une méthode initialement proposée pour la synthèse de vues nouvelle et qui modélise trois caractéristiques de visibilité basées sur la perception visuelle humaine. Une carte combinée est créée en regroupant les valeurs des cartes partielles. La seconde approche étudie l’utilisation des vidéos originales comme référence pour le panorama en sortie. Nous notons que cette approche n'est pas directement applicable, car chaque pixel du panorama final peut avoir une à N sources correspondant à N vidéos d'entrée avec des régions qui se chevauchent. Nous montrons que ce problème peut être résolu en calculant l’écart type des déplacements de tous les pixels source par rapport au déplacement du panorama en tant que mesure de la distorsion. Cela permet de comparer la différence de mouvement entre deux images données dans les vidéos d'origine et le mouvement dans le panorama final. Des cartes de saillance basées sur la perception humaine sont utilisées pour pondérer la carte de distorsion pour un filtrage plus précis. Une expérience empirique est ensuite menée avec des participants humains pour valider les méthodes d'évaluation objectives proposées. L’expérience visait à déterminer si les humains et les méthodes objectives détectaient et mesuraient les mêmes erreurs, et à déterminer quelles erreurs étaient les plus saillantes pour les humains lorsqu’ils regardaient une vidéo panoramique. Les méthodes décrites ont été testées et validées et elles donnent des résultats prometteurs montrant une forte corrélation entre les algorithmes proposés et la perception humaine, ainsi que des résultats intéressants concernant la perception humaine des métriques de qualité. Ils ouvrent également la voie à de nouvelles méthodes d'optimisation de l'assemblage vidéo guidées par ces métriques de qualité.
Fichier principal
Vignette du fichier
PhDManuscript_SandraNabil-compressed.pdf (2.56 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01979682 , version 1 (27-01-2019)
tel-01979682 , version 2 (26-03-2019)

Identifiants

  • HAL Id : tel-01979682 , version 1

Citer

Sandra Nabil. Evaluation de la qualité des vidéos panoramiques assemblées. Computer Vision and Pattern Recognition [cs.CV]. Université Grenoble Alpes, 2018. English. ⟨NNT : ⟩. ⟨tel-01979682v1⟩
379 Consultations
1054 Téléchargements

Partager

Gmail Facebook X LinkedIn More