Multiview coding and compression for 3D video - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2018

ترميز وضغط متعدد المناظر للفيديو الثلاثي الأبعاد

Multiview coding and compression for 3D video

Codage et Compression Multi-vues pour la vidéo 3D

Résumé

الفيديو متعدد المناظر (ف.م.م، MVV) يمثل صيغة متقدمة لتكنولوجيا الفيديو الثلاثي الأبعاد. الفيديو متعدد المناظر يوفر تجربة ثلاثية أبعاد غنية مقارنة بالفيديو ثلاثي الابعاد ذو المنظرين فقط. يتعلق محتوى ف.م.م بعدة متغيرات من بينها عدد الكاميرات المستخدمة، زويا التصوير إضافة إلى المشهد المُصوّر. ينتج عن كل كاميرا مستخدمة محتوى معلومات إضافي بالمقارنة مع الفيديو الثنائي الأبعاد التقليدي. ال ف.م.م يحتاج الى تقنيات ضغط وترميز خاصة تأخذ بعين الاعتبار التشابه الموجود بين مجموعة المناظر أو الكاميرات المستخدمة. يمكن استغلال كلٌ من التشابه الزمني والجهوي لتحسن كفاءة الضغط. يمثل ضاغط الفيديو متعدد المناظر MVC الامتداد النموذجي لضاغط الفيديو H.264، حيث يوفر كفاءة ضغط أفضل تصل الى نسبة 50 بالمئة بالمقارنة مع H.264 المنفرد. رغم ذلك، كفاءة ضغط أفضل يمكن أن تقودنا الى تعقيد أكثر في خاصية الوصول العشوائي مما قد يعيق استخدام MVC في تطبيقات مثل FVT والارسال المباشر عبر 3DTV . كما قد يخفض ذلك من جودة التجربة للمشاهدين بما أن خاصية التفاعل أبطأ. تهدف هذه الرسالة الى دراسة ال MVC بطريقة معمقة وحل الإشكالية السابق ذكرها بخصوص قدرة الوصول العشوائي عبر اقتراح مقاربات هياكل تنبؤ أسرع. تهدف المقاربة الأولى المقترحة (PBI) إلى خفض تكلفة الوصول العشوائي إلى أي صورة في أي موقع ولحظة مقارنة مع النموذج المرجعي JMVM ونماذج حديثة أخرى. يستند المخطط PBI بالأساس إلى استخدام جهتين مرجعيتين (I-views) محددتي التموقع ضمن هيكلة ما بين المناظر، هذا مقابل استخدام جهة مرجعية واحدة في النموذج الأصلي. يتيح هذا تنبؤا مباشرا للجهات المتبقية ويضمن قدرة وصول عشوائي بأقل تكلفة مع الحفاظ على معدل ضغط منافس. مقارنة مع هيكلة MVC الأصلية، تحقق PBI ربحا في الوصول العشوائي بمقدار 20 بالمئة بالنسبة. تتفوق المقاربة الثانية المقترحة PIP على هيكلة PBI وتحرز ربحا بمقدار 53.33 بالمئة بالمقارنة مع هيكلة MVC الأصلي. تم اقتراح واعتماد طريقة جديدة GR لتقييم قدرة الوصول العشوائي عبر الأجزاء التجريبية للرسالة. تسمح هذه الطريقة بتقييم أكثر دقة حيث تأخذ بعين الاعتبار جميع أنواع الصور الموجودة ضمن الهياكل المتعددة المناظر المدروسة. كما تعرض الرسالة مقارنة استقصائية بين هياكل تنبؤ متعددة المناظر مقترحة ومنقولة. نتائج هذه التجارب تسمح بترتيب الهياكل المدروسة إضافة الى خيارات حجوم GOP بالتناسب مع تأثيراتها على قدرة الوصول العشوائي وكفاءة الضغط. أخيرا، أجريت المزيد من التجارب للمقارنة بين MVC و MV-HEVC فيما يتعلق بكفاءة الضغط، باستخدام فيديوهات متعددة مناظر لها أشكال ومقاييس متباينة.
Multiview video (MVV) is an advanced representation of 3D video technology. The MVV content depends on several parameters such as the deployed cameras number, recording angles and the captured scene. Each used camera inherently generates an extra amount of data compared to the 2D conventional video that only needs one camera. MVV needs specific coding techniques that take into consideration the visual similarities between the viewpoints set. Both temporal and interview correlations could be exploited to improve the compression ratios. Multiview video coding (MVC) is the extended profile of H.264/AVC video codec. MVC offers compression efficiency improvements achieving 50 % over simulcast video coding. However, better compression performance leads to higher random access complexity which might hamper MVC usage in applications such as Free viewpoint Television and 3D TV broadcasting. It also degrades the viewers quality of experience due to the lack of interactivity. This thesis aims to study MVC encoding and to solve the aforementioned problem of Random Access (RA) ability by proposing faster interview prediction approaches. The thesis first presents a brief description of the 3D video concepts from capturing to displaying. Furthermore, it focuses on video coding fundamentals and its multiview extension form. The thesis then proposes two novel techniques to enhance the random access ability of the MVC encoder. The first proposed approach (PBI) aims to lower the cost of randomly accessing any picture at any position and instant, with respect to the multiview reference model JMVM and other state-of-the-art methods. The proposed (PBI) scheme is mainly based on the use of two base views (I-views) in the interview structure with selected positions instead of only a single reference view as in the standard structure. This provides a direct interview prediction for the remaining views and ensures faster random access ability while maintaining a competitive compression performance. PBI achieves a random access gain of 20 % relative to the reference model MVC. The second proposed approach (PIP) surpasses PBI structure by achieving a random access gain of 53.33% compared to the benchmark standard MVC. A novel random access ability evaluation method (GR) has been suggested and adopted throughout the thesis experimental parts. It allows more accurate assessment by considering all pictures types of the tested multiview schemes. A comparative investigation of proposed and reported multiview schemes is also presented in this thesis. Results of the conducted tests allow classifying the examined multiview schemes and GOP sizes preferences according to their effects in terms of random access ability and compression efficiency. Finally, more experiments have been conducted comparing MVC and MV-HEVC standards in terms of compression efficiency using different multiview video sequences that have different textures and resolutions.
La vidéo multi-vues (MVV) est une représentation avancée de la technologie vidéo 3D. Le contenu MVV dépend de plusieurs paramètres tels que le nombre de caméras déployées, les angles d'enregistrement et la scène capturée. Chaque caméra utilisée génère intrinsèquement une quantité de données supplémentaire par rapport à la vidéo classique en 2D qui ne nécessite qu'une seule caméra. Le MVV nécessite des techniques de codage spécifiques qui prennent en compte les similitudes visuelles entre les points de vue définis. Les corrélations temporelles et d'interview pourraient être exploitées pour améliorer les taux de compression. Le codage vidéo multi-vues (MVC) est le profil étendu du codec vidéo H.264/AVC. Le MVC offre des améliorations de l'efficacité de la compression atteignant 50 % par rapport au codage vidéo en diffusion simultanée. Toutefois, de meilleures performances de compression entraînent une plus grande complexité d'accès aléatoire qui pourrait entraver l'utilisation du MVC dans des applications telles que la télévision à point de vue libre et la diffusion de télévision en 3D. Elle dégrade également la qualité de l'expérience des téléspectateurs en raison du manque d'interactivité. Cette thèse vise à étudier l'encodage MVC et à résoudre le problème susmentionné de la capacité d'accès aléatoire (RA) en proposant des approches plus rapides de prédiction des interviews. La thèse présente d'abord une brève description des concepts de la vidéo 3D, de la capture à l'affichage. De plus, elle se concentre sur les principes fondamentaux du codage vidéo et sa forme d'extension multi-vues. La thèse propose ensuite deux nouvelles techniques pour améliorer la capacité d'accès aléatoire de l'encodeur MVC. La première approche proposée (PBI) vise à réduire le coût de l'accès aléatoire à n'importe quelle image, à n'importe quelle position et à n'importe quel instant, par rapport au modèle de référence multi-vues JMVM et à d'autres méthodes de pointe. Le schéma proposé (PBI) est principalement basé sur l'utilisation de deux vues de base (I-vues) dans la structure d'interview avec des positions sélectionnées au lieu d'une seule vue de référence comme dans la structure standard. Cela permet de prévoir directement les entretiens pour les autres vues et d'assurer un accès aléatoire plus rapide tout en maintenant une performance de compression compétitive. La PBI permet d'obtenir un gain d'accès aléatoire de 20 % par rapport au modèle de référence MVC. La deuxième approche proposée (PIP) surpasse la structure PBI en réalisant un gain d'accès aléatoire de 53,33 % par rapport au modèle MVC standard de référence. Une nouvelle méthode d'évaluation de la capacité d'accès aléatoire (GR) a été suggérée et adoptée tout au long des parties expérimentales de la thèse. Elle permet une évaluation plus précise en considérant tous les types d'images des schémas multi-vues testés. Une étude comparative des schémas multi-vues proposés et rapportés est également présentée dans cette thèse. Les résultats des tests effectués permettent de classer les schémas multi-vues examinés et les préférences de taille des GOP en fonction de leurs effets en termes de capacité d'accès aléatoire et d'efficacité de la compression. Enfin, d'autres expériences ont été menées pour comparer les normes MVC et MV-HEVC en termes d'efficacité de compression en utilisant différentes séquences vidéo multi-vues qui ont des textures et des résolutions différentes.
Fichier principal
Vignette du fichier
Seif Alllah Nasri. PhD thesis 2021 Multiview video coding.pdf (5.14 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03125482 , version 1 (30-01-2021)

Identifiants

  • HAL Id : tel-03125482 , version 1

Citer

Seif Allah El Mesloul Nasri. Multiview coding and compression for 3D video. Signal and Image processing. Université Badji Mokhtar - Annaba (Algérie), 2018. English. ⟨NNT : ⟩. ⟨tel-03125482⟩
237 Consultations
108 Téléchargements

Partager

Gmail Facebook X LinkedIn More