Visual quality of rendered 3D meshes with color attributes : Subjective and objective evaluation
Qualité visuelle des maillages 3D rendus avec des attributs de couleur : Evaluation subjective et objective
Résumé
As technological advances and capabilities in the field of computer graphics grow day by day, the need to master the visualization and processing of 3D data increases at an equal pace. Indeed, the development of modeling software and acquisition devices makes 3D graphics rich and realistic: complex models enriched with various appearance attributes. The way this 3D content is consumed is also evolving from standard screens to Virtual and Mixed Reality (VR/MR). However, the size and complexity of these rich 3D models often make their interactive visualization problematic. This is particularly the case in immersive environments and online applications. Thus, to avoid latency and rendering issues, diverse processing operations, including simplification and compression, are usually applied, resulting in a loss of quality in the final rendering. Therefore, both subjective studies and objective metrics are needed to predict this visual loss and to assess the quality as perceived by human observers. In this thesis, we address the aforementioned challenges. We conduct an extensive study to determine the best subjective quality assessment methodology to adopt for assessing the visual quality of 3D graphics, especially in VR. We establish two quality assessment datasets composed of meshes with vertex colors and textured meshes, respectively. The former is produced in VR and the latter in crowdsourcing. To the best of our knowledge, these are the largest datasets for meshes with color attributes to date. Moreover, we provide an in-depth analysis of the influence of source model characteristics, distortion interactions, viewpoints and animations on the perceived quality of 3D meshes. Leveraging our two established datasets, we propose two data-driven perceptual metrics for quality assessment of 3D graphics with color attributes. The first metric is model-based while the second is an image-based metric that employs convolutional neural networks. Our metrics demonstrate state-of-the-art results on our two datasets. Lastly, we investigate how incorporating visual attention into our perceptual quality metric improves the predicted quality. The datasets and the source code of the metrics are publicly available.
Au fur et à mesure que le progrès technologique et les capacités dans le domaine de l'informatique graphique augmentent de jour en jour, le besoin de maîtriser la visualisation et le traitement des données 3D augmente au même rythme. En effet, le développement des logiciels de modélisation et des dispositifs d'acquisition rend les graphiques 3D riches et réalistes: des modèles complexes enrichis de divers attributs d'apparence. Le mode de consommation du contenu 3D évolue également, passant des écrans standards à la Réalité Virtuelle et Mixte (VR/MR). Cependant, la taille et la complexité des riches modèles 3D rendent souvent leur visualisation interactive problématique. C'est notamment le cas dans les environnements immersifs et les applications en ligne. Ainsi, pour éviter les problèmes de latence et de rendu, diverses opérations de traitement, dont la simplification et la compression, sont généralement appliquées aux modèles 3D, entraînant une perte de qualité dans le rendu final. Par conséquent, des études subjectives et des mesures objectives sont nécessaires pour prédire cette perte visuelle et évaluer la qualité telle que perçue par les observateurs humains. Dans cette thèse, nous relevons les défis susmentionnés. Nous menons une étude approfondie pour déterminer la meilleure méthodologie d'évaluation subjective de la qualité à adopter pour évaluer la qualité visuelle des graphiques 3D, en particulier dans la VR. Nous établissons deux bases de données d'évaluation de la qualité composés de maillages avec des couleurs par sommets et de maillages texturées, respectivement. Le premier est produit en VR et le second en crowdsourcing. À notre connaissance, il s'agit des plus grands bases de données pour les maillages avec attributs de couleur disponibles à ce jour. En outre, nous fournissons une analyse approfondie de l'influence des caractéristiques des modèles sources, des interactions de distorsion, des points de vue et des animations sur la qualité perçue des maillages 3D. En s'appuyant sur nos deux bases de données établies, nous proposons deux métriques perceptuelles pour l'évaluation de la qualité des graphiques 3D avec des attributs de couleur. La première métrique est basée modèle tandis que la seconde est une métrique basée image qui utilise des réseaux neuronaux convolutifs. Nos métriques donnent des résultats de pointe sur nos deux bases de données. Enfin, nous étudions comment l'intégration de l'attention visuelle dans notre métrique de qualité perceptuelle améliore la qualité prédite.Les bases de données et le code source des métriques sont disponibles en ligne.
Mots clés
Computer Graphics
Visual quality assessment
Subjective quality evaluation
Objective quality evaluation
3D Graphics
3D Meshes
Color Attributes
Textures
Subjective Methodologie
Dataset
Perceptual metrics
Cnn
Visual Attention
Virtual reality
Crowdsourcing
Informatique graphique
Evaluation de la qualité visuelle
Evaluation de la qualité subjective
Evaluation de la qualité objective
Graphique 3D
Maillage 3D
Attributs de couleur
Textures
Méthodologie subjective
Base de données
Métrique perceptuelle
Réseau de neurones
Attention visuelle
Réalité virtuelle
Crowdsourcing
Domaines
Autre [cs.OH]| Origine | Version validée par le jury (STAR) |
|---|