Adaptive Spatio-temporal Resolution for Lightweight Coding of Emerging Video Formats
Résolution Spatio-temporelle Adaptative pour un Codage à Faible Complexité des Formats Vidéo Émergents
Résumé
The definition of the latest Ultra-High Definition TV (UHDTV) standard aims to increase the user’s quality of experience by introducing new video signal features such as 4K and High Frame-Rate (HFR). However, these new features multiply by a factor 8 the amount of data to be processed before transmission to the end user.In addition to this new format, broadcasters and Over-The-Top (OTT) content providers have to encode videos in different formats and at different bitrates due to the wide variety of devices with heterogeneous video format and network capacities used by consumers.SHVC, the scalable extension of the latest video coding standard High Efficiency Video Coding (HEVC) is a promising solution to address these issues but its computationally demanding architecture reaches its limit with the encoding and decoding of the data-heavy newly introduced immersive video features of the UHDTV video format.The objective of this thesis is thus to investigate lightweight scalable encoding approaches based on the adaptation of the spatio-temporal resolution. The first part of this document proposes two pre-processing tools, respectively using polyphase and wavelet frame-based approaches, to achieve spatial scalability with a slight complexity overhead.Then, the second part of this thesis addresses the design of a more conventional dual-layer scalable architecture using an HEVC encoder in the Base Layer (BL) for backward compatibility and a proposed low-complexity encoder, based on the local adaptation of the spatial resolution, for the Enhancement Layer (EL).Finally, the last part of this thesis investigates spatiotemporal resolution adaptation. A variable frame-rate algorithm is first proposed as pre-processing. This solution has been designed to locally and dynamically detect the lowest frame-rate that does not introduce visible motion artifacts. The proposed variable frame-rate and adaptive spatial resolution algorithms are then combined to offer a lightweight scalable coding of 4K HFR video contents.
La standardisation du dernier format vidéo en date, appelé Ultra-High Definition TV (UHDTV), vise à améliorer la qualité l’expérience des utilisateurs en introduisant de nouvelles technologies telles que la 4K ou le High Frame-Rate (HFR). Cependant, ces améliorations multiplient la quantité de données à traiter avant transmission du signal par un facteur 8. En plus de ce nouveau format, les fournisseurs de contenu doivent aussi encoder les vidéos dans des formats et à des débits différents du fait de la grande variété des systèmes et réseaux utilisés par les consommateurs. SHVC, l’extension scalable du dernier standard de compression video High Efficiency Video Coding (HEVC) est une solution prometteuse pour adresser ces problématiques. En revanche, son architecture, très demandeuse en termes de calculs, atteint ses limites lors de l’encodage des nouveaux formats vidéo immersifs tels que le standard UHDTV.L’objectif de cette thèse est donc d’étudier des approches de codage scalables et légères basées sur l’adaptation de la résolution spatio-temporelle des vidéos. La première partie de cette thèse propose deux algorithmes de pré-traitement, utilisant respectivement des approches polyphase et ondelette basées image, afin de permettre la scalabilité spatiale avec une faible augmentation de la complexité.Ensuite, dans un second lieu, le design d’une architecture scalable à deux couches, plus conventionnelle, est étudié. Celle-ci est composée d’un encodeur HEVC standard dans la couche de base pour assurer la compatibilité avec les systèmes existants. Pour la couche d’amélioration, un encodeur basse complexité, se basant sur l’adaptation locale de la résolution spatiale, est proposé. Enfin, la dernière partie de cette thèse se focalise sur l’adaptation de la résolution spatio-temporelle. Un algorithme faisant varier la fréquence image est d’abord proposé. Cet algorithme est capable de détecter localement et de façon dynamique la fréquence image la plus basse n’introduisant pas d’artefacts visibles liés au mouvement. Les algorithmes de fréquence image variable et de résolution spatiale adaptative sont ensuite combinés afin d’offrir un codage scalable à faible complexité des contenus 4KHFR.
| Origine | Version validée par le jury (STAR) |
|---|