Specular highlight mitigation using unsupervised multi-domain adversarial generation of specularity-free images inferred from polarimetric data - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Specular highlight mitigation using unsupervised multi-domain adversarial generation of specularity-free images inferred from polarimetric data

Détection de surbrillance spéculaire et génération non supervisée de génération d'images non spéculaires à l'aide d'un réseau de traduction multi-domaines entraîné avec des données polarimétriques

Résumé

Specular reflection detection and removal is a fundamental yet non-trivial problem in the image processing domain, including applications for segmentation, object detection and decision-making systems. Most systems overlook the particular scenario and ignore input images with specular highlights instead of mitigating them in the pre-processing stage. This work presents techniques developed for accurately segmenting specular regions in real-world images and generating specularity-free images from a single image input without any additional guidance or parameters. For reliable specularity detection we developed an efficient Specularity Segmentation (SpecSeg) deep neural network based on the U-net architecture. SpecSeg has a fast inference time of 3.1ms and can be trained in only 40 minutes. We also develop a fast colour Weighted Median Inpainting (WMI) method to quickly inpaint large regions of affected specular regions with approximated colour. For specular mitigation, we developed a multi-domain Specular Highlight Mitigation Generative AdversarialNetwork (SHMGAN) trained usingmultiple polarimetric images, for synthesizing specularity-free images from a single image input. We take advantage of the inherently polarized nature of specular highlights and varying illumination information captured using polarizer filters. No external label or additional input is required for the removal of specularity as the SHMGAN network uses a dynamically generated self-attention mask for detecting specular regions. Both networks are trained and tested on self-acquired and publicly available datasets of real-world images. The images generated after specular mitigation are realistic and have minimal noise, distortions and aberrations compared to the existing state-of-the-art methods.
La détection et la suppression des reflets spéculaires est un problème fondamental mais non trivial dans le domaine du traitement d’images, y compris dans les applications pour la segmentation d’images, la détection d’objets et les systèmes de décision basés sur l’image. La plupart des systèmes négligent ce scénario particulier et ignorent les images d’entrée présentant des reflets spéculaires au lieu de les atténuer au stade du prétraitement. Ce travail présente des techniques développées pour segmenter avec précision les régions spéculaires dans les images du monde réel et générer des images sans spécularité à partir d’une seule image d’entrée sans aucune indication ou paramètre supplémentaire. Pour une détection fiable de la spécularité, nous avons développé un réseau neuronal profond efficace de segmentation de la spécularité (SpecSeg) basé sur l’architecture U-net. SpecSeg a un temps d’inférence rapide de 3.1ms et peut être entraîné en seulement 40 minutes. Nous développons également une méthode rapide de peinture médiane pondérée (WMI) en couleur pour peindre rapidement de grandes régions spéculaires affectées avec une couleur approximative. Pour l’atténuation des effets spéculaires, nous avons mis au point un réseau adversarial génératif multi-domaines (SHMGAN) entraîné à l’aide de plusieurs images polarimétriques, afin de synthétiser des images sans spécularité à partir d’une seule image. Nous tirons parti de la nature intrinsèquement polarisée des reflets spéculaires et des informations d’illumination variables capturées à l’aide de filtres polarisants. Aucune étiquette externe ou entrée supplémentaire n’est requise pour la suppression de la spécularité car SHMGAN utilise un masque d’auto-attention généré dynamiquement pour détecter les régions spéculaires. Les deux réseaux sont entraînés et testés sur des ensembles de données d’images du monde réel acquises par les utilisateurs eux-mêmes et accessibles au public. Les images générées après l’atténuation de la spécularité sont réalistes et présentent un bruit, des distorsions et des aberrations minimes par rapport aux méthodes de pointe existantes.
Fichier principal
Vignette du fichier
ANWER-A.pdf (17.61 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04068760 , version 1 (14-04-2023)

Identifiants

  • HAL Id : tel-04068760 , version 1

Citer

Atif Anwer. Specular highlight mitigation using unsupervised multi-domain adversarial generation of specularity-free images inferred from polarimetric data. Artificial Intelligence [cs.AI]. Normandie Université; Université de technologie de Petronas (1997-.. ; Seri Iskandar, Perak, Malaisie), 2022. English. ⟨NNT : 2022NORMIR29⟩. ⟨tel-04068760⟩
113 Consultations
24 Téléchargements

Partager

Gmail Facebook X LinkedIn More