Content-aware HDR tone mapping algorithms - Archive ouverte HAL Access content directly
Theses Year : 2022

Content-aware HDR tone mapping algorithms

Algorithmes de mappage de tonalités HDR dépendant du content

(1)
1

Abstract

The ratio between the brightest and the darkest luminance intensity in High Dynamic Range (HDR) images is larger than the rendering capability of the output media. Tone mapping operators (TMOs) compress the HDR image while preserving the perceptual cues thereby modifying the subjective aesthetic quality. Age old painting and photography techniques of manual exposure correction has inspired a lot of research for TMOs. However, unlike the manual retouching process based on semantic content of the image, TMOs in literature have mostly relied upon photographic rules or adaptation principles of human vision to aim for the 'best' aesthetic quality which is ill-posed due to its subjectivity. Our work reformulates the challenges of tone mapping by stepping into the shoes of a photographer, following the photographic principles, image statistics and their local retouching recipe to achieve the tonal adjustments. In this thesis, we present two semantic aware TMOs – a traditional SemanticTMO and a deep learning-based GSemTMO. Our novel TMOs explicitly use semantic information in the tone mapping pipeline. Our novel GSemTMO is the first instance of graph convolutional networks (GCN) being used for aesthetic image enhancement. We show that graph-based learning can leverage the spatial arrangement of semantic segments like the local masks made by experts. It creates a scene understanding based on the semantic specific image statistics a predicts a dynamic local tone mapping. Comparing our results to traditional and modern deep learning-based TMOs, we show that G-SemTMO can emulate an expert’s recipe and reach closer to reference aesthetic styles than the state-of-the-art methods.
Le rapport entre l'intensité de luminance la plus lumineuse et la plus sombre dans les images à plage dynamique élevée (High Dynamic Range-HDR) est supérieur à la capacité de rendu du support de sortie. Les opérateurs de mappage de tonalités (Tone mapping operators - TMOs) compressent l'image HDR tout en préservant les indices perceptuels, modifiant ainsi la qualité esthétique subjective. Les techniques dans le domaine de la peinture ainsi que les techniques de correction manuelle de l'exposition en photographie ont inspiré de nombreuses recherches sur les TMOs. Cependant, contrairement au processus de retouche manuel basé sur le contenu sémantique de l'image, les TMOs dans la littérature se sont principalement appuyés sur des règles photographiques ou des principes d'adaptation de la vision humaine pour obtenir la 'meilleure' qualité esthétique, ce qui est un problème mal posé en raison de sa subjectivité. Notre travail reformule les défis du mappage des tonalités en se mettant dans la peau d'un photographe, en suivant les principes photographiques, les statistiques d'images et leur recette de retouche locale pour réaliser les ajustements de tonalités. Dans cette thèse, nous présentons deux TMO sémantiques : un SemanticTMO traditionnel et un GSemTMO basé sur l'apprentissage profond. Nos nouveaux TMO utilisent explicitement des informations sémantiques dans le pipeline de mappage de tonalités. Notre nouveau G-SemTMO est le premier exemple de réseaux convolutifs sur les graphes (Graph Convolutional Networks - GCN) utilisé pour l'amélioration esthétique de l'image. Nous montrons que l'apprentissage basé sur des graphes peut tirer parti de l'agencement spatial de segments sémantiques similaire au masques locaux fabriqués par des experts. Il crée une compréhension de la scène basée sur les statistiques d'image spécifiques à la sémantique et prédit un mappage dynamique et local des tonalités. En comparant nos résultats aux TMO traditionnels et modernes basés sur l'apprentissage profond, nous montrons que G-SemTMO peut imiter les recettes d'un expert et mieux se rapprocher des styles esthétiques de référence lorsque comparé aux méthodes de pointe.
Fichier principal
Vignette du fichier
2022UPASG013_GOSWAMI_archivage.pdf (162.33 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03669580 , version 1 (16-05-2022)

Identifiers

  • HAL Id : tel-03669580 , version 1

Cite

Abhishek Goswami. Content-aware HDR tone mapping algorithms. Image Processing [eess.IV]. Université Paris-Saclay, 2022. English. ⟨NNT : 2022UPASG013⟩. ⟨tel-03669580⟩
110 View
1 Download

Share

Gmail Facebook Twitter LinkedIn More