Deep learning-based Point Cloud Compression
Compression de nuages de points par apprentissage profond
Résumé
Point clouds are becoming essential in key applications with advances in capture technologies leading to large volumes of data.Compression is thus essential for storage and transmission.Point Cloud Compression can be divided into two parts: geometry and attribute compression.In addition, point cloud quality assessment is necessary in order to evaluate point cloud compression methods.Geometry compression, attribute compression and quality assessment form the three main parts of this dissertation.The common challenge across these three problems is the sparsity and irregularity of point clouds.Indeed, while other modalities such as images lie on a regular grid, point cloud geometry can be considered as a sparse binary signal over 3D space and attributes are defined on the geometry which can be both sparse and irregular.First, the state of the art for geometry and attribute compression methods with a focus on deep learning based approaches is reviewed.The challenges faced when compressing geometry and attributes are considered, with an analysis of the current approaches to address them, their limitations and the relations between deep learning and traditional ones.We present our work on geometry compression: a convolutional lossy geometry compression approach with a study on the key performance factors of such methods and a generative model for lossless geometry compression with a multiscale variant addressing its complexity issues.Then, we present a folding-based approach for attribute compression that learns a mapping from the point cloud to a 2D grid in order to reduce point cloud attribute compression to an image compression problem.Furthermore, we propose a differentiable deep perceptual quality metric that can be used to train lossy point cloud geometry compression networks while being well correlated with perceived visual quality and a convolutional neural network for point cloud quality assessment based on a patch extraction approach.Finally, we conclude the dissertation and discuss open questions in point cloud compression, existing solutions and perspectives. We highlight the link between existing point cloud compression research and research problems to relevant areas of adjacent fields, such as rendering in computer graphics, mesh compression and point cloud quality assessment.
Les nuages de points deviennent essentiels dans de nombreuses applications et les progrès des technologies de capture conduisent à des volumes de données croissants.La compression est donc essentielle pour le stockage et la transmission.La compression des nuages de points peut être divisée en deux parties : la compression de la géométrie et des attributs.En outre, l'évaluation de la qualité des nuages de points est nécessaire afin d'évaluer les méthodes de compression des nuages de points.La compression de la géométrie, la compression des attributs et l'évaluation de la qualité constituent les trois parties principales de cette thèse.Le défi commun à ces trois problèmes est la parcimonie et l'irrégularité des nuages de points.En effet, alors que d'autres modalités telles que les images reposent sur une grille régulière, la géométrie des nuages de points peut être considérée comme un signal binaire parcimonieux dans un espace 3D et les attributs sont définis sur la géométrie qui peut être à la fois parcimonieuse et irrégulière.Dans un premier temps, l'état de l'art des méthodes de compression de la géométrie et des attributs est passé en revue, en mettant l'accent sur les approches basées sur l'apprentissage profond.Les défis rencontrés lors de la compression de la géométrie et des attributs sont examinés, avec une analyse des approches actuelles pour les résoudre, leurs limites et les relations entre l'apprentissage profond et les approches traditionnelles.Nous présentons nos travaux sur la compression de la géométrie : une approche de compression de la géométrie avec perte basée sur la convolution avec une étude sur les facteurs de performance clés pour ces méthodes et un modèle génératif pour la compression de la géométrie sans perte avec une variante multi-échelle atténuant ses problèmes de complexité.Ensuite, nous présentons une approche basée sur le pliage pour la compression d'attributs qui apprend un mapping du nuage de points à une grille 2D afin de réduire la compression d'attributs de nuages de points à un problème de compression d'images.De plus, nous proposons une métrique de qualité perceptive profonde différentiable qui peut être utilisée pour entraîner des réseaux de compression géométrique de nuages de points avec perte tout en étant corrélée avec la qualité visuelle perçue, ainsi qu'un réseau neuronal convolutif pour l'évaluation de la qualité des nuages de points basé sur une approche d'extraction de patchs.Enfin, nous concluons la thèse et discutons des questions ouvertes dans la compression des nuages de points, des solutions existantes et des perspectives. Nous soulignons le lien entre la recherche actuelle sur la compression des nuages de points et les problèmes de recherche dans des domaines adjacents, tels que le rendu dans l'infographie, la compression des maillages et l'évaluation de la qualité des nuages de points.
| Origine | Version validée par le jury (STAR) |
|---|