Long-term dense motion estimation and view synthesis quality assessment with application to joint stereo and motion processing
Estimation de mouvement dense long-terme et évaluation de qualité de la synthèse de vues. Application à la coopération stéréo-mouvement.
Résumé
Film and consumer electronics industries have known in the last few years huge technological improvements to capture, transmit and display high-quality monoscopic and stereoscopic video content. These improvements aim at providing to the viewer the most realistic viewing experience. Due to artistic intentions or physical limitations to efficiently capture and transmit video contents, it is sometimes necessary to combine simultaneously captured and synthetic data while taking care to maintain a photo-realistic rendering. To efficiently process captured and synthetic content simultaneously, production and post-production operators need to be assisted by sophisticated automatic tools. Among these tools, we thoroughly investigated both view synthesis quality assessment and long-term dense motion estimation issues. 3D autostereoscopic displays rely on the generation of realistic-looking virtual viewpoints through disparity estimation and view interpolation involved together within Depth-Image-Based Rendering (DIBR) algorithms. Despite recent advances, DIBR algorithms do not always provide artifact-free synthesized views and induce new types of artifacts whose impact can be harmful for the observer. Our contribution in this context has been to develop and evaluate a new full-reference objective image quality assessment metric dedicated to view synthesis quality assessment. Also required by recent applications such as scene segmentation or dynamic scene analysis techniques, long-term dense displacement fields allow to propagate synthetic data to the whole sequence in the context of high quality video editing. However, state-of-the-art optical flow estimators show strong limitations toward long-term requirements since classical optical flow assumptions are not valid for non-consecutive frames. Therefore, we proposed several contributions to long-term dense motion estimation based on multi-step optical flow vectors. First, a sequential fusion approach including a spatio-temporal multilateral filtering has been investigated toward long-term dense correspondences robust to temporary occlusions. Then, an alternative method has been studied based on combinatorial integration and statistical selection. Finally, we proposed multi-reference frames strategies to correlate trajectories estimated with respect to multiple reference frames selected according to motion quality criteria. Our contributions in both contexts offers new perspectives, especially for joint stereo and motion processing. In this direction, an automatic disparity correction framework using long-term dense displacement fields has been addressed.
Les nouvelles technologies de la vidéo numérique tendent vers la production, la transmission et la diffusion de contenus de très haute qualité, qu'ils soient monoscopiques ou stéréoscopiques. Ces technologies ont énormément évolué ces dernières années pour faire vivre à l'observateur l'expérience la plus réaliste possible. Pour des raisons artistiques ou techniques liées à l'acquisition et à la transmission du contenu, il est parfois nécessaire de combiner la vidéo acquise à des informations de synthèse tout en veillant à maintenir un rendu photo-réaliste accru. Pour faciliter la tâche des opérateurs de production et post-production, le traitement combiné de contenus capturés et de contenus de synthèse exige de disposer de fonctionnalités automatiques sophistiquées. Parmi celles-ci, nos travaux de recherche ont porté sur l'évaluation de qualité de la synthèse de vues et l'élaboration de stratégies d'estimation de mouvement dense et long-terme. L'obtention d'images synthétisées de bonne qualité est essentielle pour les écrans 3D auto-stéréoscopiques. En raison d'une mauvaise estimation de disparité ou interpolation, les vues synthétisées générées par DIBR font cependant parfois l'objet d'artéfacts. C'est pourquoi nous avons proposé et validé une nouvelle métrique d'évaluation objective de la qualité visuelle des images obtenues par synthèse de vues. Tout comme les techniques de segmentation ou d'analyse de scènes dynamiques, l'édition vidéo requiert une estimation dense et long-terme du mouvement pour propager des informations synthétiques à l'ensemble de la séquence. L'état de l'art dans le domaine se limitant quasi-exclusivement à des paires d'images consécutives, nous proposons plusieurs contributions visant à estimer le mouvement dense et long-terme. Ces contributions se fondent sur une manipulation robuste de vecteurs de flot optique de pas variables (multi-steps). Dans ce cadre, une méthode de fusion séquentielle ainsi qu'un filtrage multilatéral spatio-temporel basé trajectoires ont été proposés pour générer des champs de déplacement long-termes robustes aux occultations temporaires. Une méthode alternative basée intégration combinatoire et sélection statistique a également été mise en œuvre. Enfin, des stratégies à images de référence multiples ont été étudiées afin de combiner des trajectoires provenant d'images de référence sélectionnées selon des critères de qualité du mouvement. Ces différentes contributions ouvrent de larges perspectives, notamment dans le contexte de la coopération stéréo-mouvement pour lequel nous avons abordé les aspects correction de disparité à l'aide de champs de déplacement denses long-termes.
Mots clés
disparity estimation
view synthesis
view synthesis artifacts
photo-realistic rendering
3D autostereocopic displays
long-term dense motion estimation
muli-step optical flow
video editing
temporary occlusions
sequential fusion
spatio-temporal multilateral filtering
combinatorial integration
statistical processing
multi-reference frames strategies
joint stereo and motion processing
disparity correction
view synthesis quality assessment
évaluation de qualité de la synthèse
DIBR
estimation de disparité
synthèse de vues
artéfacts de synthèse de vues
rendu réaliste
écrans 3D auto-stéréoscopiques
estimation de mouvement dense longterme
flot optique multi-steps
édition vidéo
occultations temporaires
fusion séquentielle
filtrage spatio-temporel multilatéral
intégration combinatoire
traitement statistique
stratégies basées images de référence multiples
coopération stéréo-mouvement
correction de disparité