Machine learning based optimization for VVC low bitrate coding - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Machine learning based optimization for VVC low bitrate coding

Optimisation basée sur l'apprentissage automatique pour le codage à faible débit avec VVC

Résumé

This thesis focuses on improving lowbitrate video coding and transmission, where the bandwidth limitations often result in videos with noticeable compression artifacts (e.g. blurriness, blockiness and ringing). Such artifacts can dramatically decrease the perceived quality. By breaking the video delivering pipeline into three main steps of pre-processing, encoding and post-processing in this thesis, we have tried to address the challenges of low bit-rate video coding in each step. First, we propose a CNN-based quality enhancement method as post-processing to enhance the quality of heavily distorted videos before display. To further improve the performance of this algorithm, we take advantage of the information available in the received bitstream. Moreover, to reduce the bitrate while enhancing the quality, we integrate the proposed QE method as in-loop filter after all existing loop filters in VVC. Next, as down-scaling the video before encoding can be beneficial at the low-bit rate, we conducted a study to verify the potential of CNN-based super-resolution methods in low-bitrate. In addition, to determine the best video resolution before the encoding for the specific use cases, we developed a content-aware ML-based method to construct the close to optimal bitrate ladder. We also introduce an approach to predict the bitrate ladder of a specific encoding preset from the other presets. In summary, several methods and strategies in different parts of the video ecosystem have been proposed to improve the overall performance in low-bitrate.
Cette thèse porte sur des méthodologies efficaces pour optimiser le codage et la transmission vidéo à bas débit, ou les limitations de bande passante entraînent souvent des vidéos avec des artefacts de compression notables (par exemple, flou, bloc et sonnerie). De tels artefacts peuvent réduire considérablement la qualité perçue du côté de l’utilisateur. En divisant le pipeline de diffusion vidéo en trois étapes principales de prétraitement, d’encodage et de post-traitement dans cette thèse, nous avons essayé de relever les défis du codage vidéo à faible débit à chaque étape. Tout d’abord, nous proposons une méthode d’amélioration de la qualité basée sur CNN en tant que post-traitement pour améliorer la qualité des vidéos fortement déformées avant l’affichage. Pour améliorer encore les performances de cet algorithme, nous tirons parti des informations disponibles dans le flux binaire reçu, telles que la prédiction, le partitionnement, le type de codage de bloc et le paramètre de quantification. De plus, pour réduire le débit binaire tout en améliorant la qualité, nous intégrons la méthode QE proposée comme filtre en boucle après tous les filtres de boucle existants dans VVC. Ensuite, comme la réduction d’échelle de la vidéo avant l’encodage peut être bénéfique à bas débit, nous avons mené une étude pour vérifier le potentiel des méthodes de superrésolution basées sur CNN à bas débit. De plus, pour déterminer la meilleure résolution vidéo avant l’encodage pour les cas d’utilisation spécifiques, nous avons développé une méthode basée sur le ML sensible au contenu pour construire l’échelle de débit binaire proche de l’optimum. Nous introduisons également une approche pour prédire l’échelle de débit d’un préréglage d’encodage spécifique à partir des autres préréglages. En résumé, nous avons proposé plusieurs méthodes et stratégies dans différentes parties des processus d’encodage et de décodage pour améliorer les performances du codage vidéo à faible débit.
Fichier principal
Vignette du fichier
TheseDEF_Fatemeh_NASIRI.pdf (10.78 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04496147 , version 1 (08-03-2024)

Identifiants

  • HAL Id : tel-04496147 , version 1

Citer

Fatemeh Nasiri. Machine learning based optimization for VVC low bitrate coding. Signal and Image processing. INSA de Rennes, 2022. English. ⟨NNT : 2022ISAR0024⟩. ⟨tel-04496147⟩
14 Consultations
6 Téléchargements

Partager

Gmail Facebook X LinkedIn More