Improving Speed and Image Quality of Image-Based Rendering - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2017

Improving Speed and Image Quality of Image-Based Rendering

Amélioration de la Vitesse et de la Qualité d'image du Rendu Basé Image

Résumé

Traditional photo-realistic rendering requires intensive manual and computational effort to create scenes and render realistic images. Thus, the creation of content for high-quality digital imagery has been limited to experts and highly realistic rendering still requires significant computational time. Image-Based Rendering (IBR) is an alternative which has the potential of making high-quality content creation and rendering applications accessible to casual users since they can generate high-quality photo-realistic imagery without the limitations mentioned above. We identified three important shortcomings of current IBR methods: First, each algorithm has different strengths and weaknesses, depending on 3D reconstruction quality and scene content and often no single algorithm offers the best image quality everywhere in the image. Second, such algorithms present strong artifacts when rendering partially reconstructed objects or missing objects. Third, most methods still result in significant visual artifacts in image regions where reconstruction is poor. To tackle the first problem, we propose a Bayesian IBR algorithm, which chooses between different rendering algorithms in each image region, by making the best quality/speed trade-off. This selection is performed in a pre-process, by evaluating rendering quality according to distance in geometry and color via a leave-one-out strategy on the input images. Our method results in significant speedup in rendering time, permitting the use of this approach on mobile devices. For the second problem, we focus on the case of reflective objects which are hard to reconstruct, such as cars. The key insight is to replace these poorly reconstructed object with models from existing rich 3D CAD databases, and subsequently, align them to the input images. We use deep-learning-based algorithms to a multi-view context to obtain the 3D model present in the databases which are closest to the object seen in the images. We formulate two optimizations using all available information to finely position and orient the model and adapt it to image contours. Our method provides much higher quality rendering results of such objects compared to previous solutions. Finally, we present initial ideas on two ways to measure and correct the error introduced by poorly reconstructed regions in IBR in wide-baseline multi-view scenes, either with hand-crafted descriptors or a deep learning approach. Initial results show promise for improving the quality of depth and thus IBR. Overall, this thesis addresses significant shortcomings of IBR for both speed and image quality, offering novel and effective solutions based on selective rendering, learning-based model substitution and depth error prediction and correction.
Le rendu photo-réaliste traditionnel exige un effort manuel et des calculs intensifs pour créer des scènes et rendre des images réalistes. C'est principalement pour cette raison que pourquoi la création de contenus pour l’imagerie numérique de haute qualité a été limitée aux experts et le rendu hautement réaliste nécessite encore des temps de calcul significatifs. Le rendu basé image (IBR) est une alternative qui a le potentiel de rendre les applications de création et de rendu de contenus de haute qualité accessibles aux utilisateurs occasionnels, puisqu'ils peuvent générer des images photo-réalistes de haute qualité sans subir les limitations mentionnées ci-dessus. Nous avons identifié trois limitations importantes des méthodes actuelles de rendu basé image: premièrement, chaque algorithme possède des forces et faiblesses différentes, en fonction de la qualité de la reconstruction 3D et du contenu de la scène, et un seul algorithme ne permet souvent pas d’obtenir la meilleure qualité de rendu partout dans l’image. Deuxièmement, ces algorithmes présentent de forts artefacts lors du rendu d’objets manquants ou partiellement reconstruits. Troisièmement, la plupart des méthodes souffrent encore d'artefacts visuels significatifs dans les régions de l’image où la reconstruction est de faible qualité. Pour répondre au premier problème, nous proposons un algorithme IBR Bayésien, qui sélectionne pour chaque région de l'image, parmi différents algorithmes de rendu, celui permettant d'obtenir le meilleur rapport qualité / temps de calcul. Cette sélection est effectuée dans une phase de pré-traitement, en évaluant la qualité du rendu en fonction de la distance en termes de géométrie et de couleur, par l’intermédiaire d’une stratégie de validation croisée sur les images d'entrée. Notre méthode permet d'obtenir une accélération significative des temps de rendu, rendant possible l'utilisation de cette approche sur des appareils portables. Pour le deuxième problème, nous nous concentrons sur le cas des objets réfléchissants, qui sont difficiles à reconstruire, tels que les voitures. L’idée clé consiste à remplacer ces objets mal reconstruits par des modèles 3D, provenant des bibliothèques de modèles CAO de bonne qualité, et d’aligner ces modèles avec les images d'entrée. Nous avons adapté des algorithmes de "deep-learning" dans un contexte multi-vues pour obtenir le modèle 3D issu des bases de données qui soit le plus proche de l'objet présent dans les images. L'estimation de la pose (position et orientation) et l'adaptation du modèle 3d sont formulés comme 2 problèmes d'optimisation qui prennent en compte l'ensemble de l'information disponible: images, contours, 3d. Notre méthode fournit des résultats de qualité supérieure aux solutions existantes pour le rendu de tels objets. Enfin, nous présentons une première réflexion sur la manière de mesurer l’impact des erreurs de reconstruction 3d sur le rendu basé image dans un contexte où les points de vue d'acquisition sont éloignés. Nous avons exploré deux approches. La première utilisent des descripteurs Daisy et la seconde utilisant le deep learning. Dans l'ensemble, cette thèse propose plusieurs améliorations significatives du rendu basé image aussi bien en terme de vitesse de rendu que de qualité d’image. Ces nouvelles solutions sont basées sur le rendu sélectif, la substitution de modèle basé sur l'apprentissage, et la prédiction et la correction des erreurs de profondeur.
Fichier principal
Vignette du fichier
Improving_Speed_and_Image_Quality_IBR_RodrigoOrtizCayonSmall.pdf (31.38 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-01536072 , version 2 (06-06-2017)
tel-01536072 , version 1 (10-06-2017)

Identifiants

  • HAL Id : tel-01536072 , version 1

Citer

Rodrigo José Ortiz Cayón. Improving Speed and Image Quality of Image-Based Rendering. Computer Science [cs]. INRIA Sophia Antipolis, France; Université Côte d'Azur, 2017. English. ⟨NNT : ⟩. ⟨tel-01536072v1⟩
284 Consultations
105 Téléchargements

Partager

Gmail Facebook X LinkedIn More