Learning based coding and post-processing methods for 8K video reconstruction - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Learning based coding and post-processing methods for 8K video reconstruction

Méthodes de codage et de post-traitement par apprentissage pour la reconstruction de signaux vidéo 8K

Résumé

8K video resolution has attracted a lot of interest from the industry as a media format for immersive video applications enhancing the end users’ quality of experience. However, delivering such a format on DTT, where backward compatibility is essential, is impossible due to the high bandwidth requirements of this format. This thesis aims to propose innovative compression and post-processing methods to perform the reconstruction of this format on the receiver side. The recent advances in AI-based technologies have demonstrated outstanding performances for the compression or post-processing (e.g., super-resolution) of video data. First, a study has been performed to assess the performance of compression methods and upcsaling algorithms on 8K video. Then, two multitask superresolution models dedicated to upscaling compressed videos have been developed. Finally, a learned compression system has been designed to guide a super-resolution model with metadata containing the high frequencies lost during downscaling. The results show that the proposed solution offers better performance than the state-of-the-art regarding the usecase of this thesis.
La résolution d’image 8K a récemment connu un fort engouement dans la communauté de la vidéo. Du point de vue de la télévision numérique terrestre (TNT), l’introduction de ce nouveau format multimédia n’est envisageable qu’en assurant la compatibilité avec le parc d’équipement existant. Cependant, dû aux fortes contraintes de débit imposées par ce format, une diffusion 8K rétrocompatible sur la TNT n’est pas concevable avec les méthodes de compression actuelles. Cette thèse a pour objectif de proposer des méthodes innovantes permettant la reconstruction du signal 8K du côté des futurs récepteurs. Les dernières avancées proposées dans le domaine des technologies par apprentissage ont démontré des performances prometteuses pour la compression et le posttraitement (e.g., super-résolution) de données vidéos. Dans un premier temps, une étude évaluant les performances de différentes méthodes de compression et de super-resolution appliquées à des contenus 8K a permis de définir deux axes de recherche. Dans un premier axe, deux modèles de super-résolution multitâche dédiés au suréchantillonnage de vidéos compressées ont été développés. Le deuxième axe de la thèse a été dirigé vers le développement d’un algorithme de compression par apprentissage guidant le suréchantillonnage avec un flux de métadonnées. Les résultats ont montré que l’approche proposée offre de meilleures performances que l’état de l’art pour le cas d’usage défini.
Fichier principal
Vignette du fichier
TheseDEF_Charles_BONNINEAU.pdf (11.83 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04473531 , version 1 (22-02-2024)

Identifiants

  • HAL Id : tel-04473531 , version 1

Citer

Charles Bonnineau. Learning based coding and post-processing methods for 8K video reconstruction. Signal and Image processing. INSA de Rennes, 2022. English. ⟨NNT : 2022ISAR0006⟩. ⟨tel-04473531⟩
21 Consultations
10 Téléchargements

Partager

Gmail Facebook X LinkedIn More