Deep Learning for Near-duplicated Patterns Discovery and Alignment in Artworks - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Deep Learning for Near-duplicated Patterns Discovery and Alignment in Artworks

Apprentissage en profondeur pour la découverte et l'alignement de motifs quasi-dupliqués dans les œuvres d'art

Xi Shen
  • Fonction : Auteur
  • PersonId : 173126
  • IdHAL : xi-shen

Résumé

The goal of this thesis is to develop deep learning methods for artwork analysis. More precisely, we focus on three particular tasks: style-invariant patterns retrieval, near-duplicated patterns discovery, and dense image alignment. All the tasks are very challenging from a computer vision point of view, main difficulties include: i) no annotations are available so that the approach we develop needs to be unsupervised; ii) there are differences in the artistic media (oil, pastel, drawing, etc) of the different depictions we want to analyze, so we face cross-domain problems. Our first task, style-invariant patterns retrieval aims at finding relevant motifs in a collection of artworks similar to a given query motif. The retrieved motifs should depict the same content but might have different styles. The task is motivated by several image search applications in art images and historical documents. Beyond heritage images, image retrieval has been widely used in image search tools such as Google Image Search. Our second task, near-duplicated patterns discovery aims at identifying repeated visual patterns in a collection of artworks. The task is motivated by finding visual correspondences among artworks, which might indicate authorship and provenance. Beyond art history, near-duplicated pattern discovery can be used to discover common objects in generic image collection, which can be useful to ease data annotation processes. Our third task, dense image alignment aims at predicting pixel-level alignment between images. Our goal is to compare two paintings or details of two artworks depicting the same content but with different styles. On natural images, optical flow is also beneficial to two-view geometry estimation and 3D reconstruction. This thesis includes three technical contributions. Our first contribution is a self-supervised approach to adapt standard deep features for cross-domain matching by fine-tuning it on the specific art collection. More precisely, we use spatial consistency between neighboring feature matches as supervision. The adapted features lead to more accurate style-invariant matching. We leverage multi-resolution feature matching and geometric verification to identify near-duplicated patterns in the dataset. Along with the approach, we also propose a dataset which we refer to as the Brueghel (Shen et al., 2019; bru) dataset which allows evaluating one-shot cross-domain art detail detection. Our second contribution is learning co-segmentation for a pair of images on a synthetic dataset. We generate training pairs by blending objects into a background image and applying style transfer to the resulting composition. As a result, we have access to ground-truth masks of the blended objects and correspondences between the original and synthesized image. We empirically compare the performances obtained with two networks: Sparse Nc-Net (Rocco et al., 2020) and a transformer-based (Vaswani et al., 2017) architecture, and show that employing Poisson Blending (Pérez et al., 2003) and style transfer is crucial for generalization. In terms of results, the trained transformer improves performance on near-duplicated art detail detection and discovery. Additionally, we show that our approach performs well on place recognition and object discovery in natural images. Our last contribution is a two-stage method for generic image alignment. In the coarse stage, we estimate Homography transformations between a pair of images using standard deep feature matches and RANSAC; in the fine stage, we design and learn a Convolutional Neural Network (CNN) to predict pixel-level alignment using a reconstruction loss. The proposed approach is simple and allows aligning near-duplicated art patterns. On natural images, the proposed approach shows competitive or better performance across different tasks: optical flow estimation, sparse correspondences evaluation, two-view geometry estimation, 3D reconstruction, and aligning Internet images.
L’objectif de cette thèse est de développer des méthodes d’apprentissage profond pour l’analyse d’œuvres d’art. Plus précisément, nous nous concentrons sur trois tâches particulières : la recherche de motifs invariants de style, la découverte de motifs quasi-dupliqués et l’alignement dense d’images. Toutes les tâches sont très difficiles du point de vue de la vision par ordinateur, les principales difficultés incluent : i) aucune annotation n’est disponible, de sorte que l’approche que nous développons doit être non-supervisée; ii) il existe des différences dans les supports artistiques (huile, pastel, dessin, etc.) des différentes représentations que nous voulons analyser, nous sommes donc confrontés à des problèmes inter-domaines. Notre première tâche, style-invariant patterns retrieval vise à trouver des motifs pertinents dans une collection d’œuvres d’art similaires à un motif de requête donné. Les motifs récupérés doivent représenter le même contenu mais peuvent avoir des styles différents. La tâche est motivée par plusieurs applications de recherche d’images dans des images d’art et des documents historiques. Au-delà des images patrimoniales, la recherche d’images est largement utilisée par exemple dans les outils de recherche d’images tels que Google Image Search. Notre deuxième tâche, découverte de motifs quasi-dupliqués vise à identifier des motifs visuels répétés dans une collection d’œuvres d’art. La tâche est motivée par la recherche de correspondances visuelles entre les œuvres d’art, qui pourraient indiquer la paternité et la provenance. Au-delà de l’histoire de l’art, la découverte de motifs similaires peut être utilisée pour découvrir des objets communs dans une collection d’images naturelles, ce qui peut être utile, par exemple, pour faciliter le processus d’annotation des données. Notre troisième tâche, alignement dense d’images vise à prédire l’alignement au niveau des pixels entre les images. Notre objectif est de comparer deux tableaux ou des détails d’œuvres d’art représentant le même contenu mais avec des styles différents. Sur les images naturelles, le flux optique est également bénéfique pour l’estimation de la géométrie à deux vues et la reconstruction 3D. Cette thèse comprend trois contributions techniques. Notre première contribution est une approche auto-supervisée pour adapter un descriptor standard de réseau de neurones pour la correspondance entre domaines en fine-tuning sur la collection d’art spécifique. Plus précisément, nous utilisons la cohérence spatiale entre les correspondances de caractéristiques voisines comme super- vision. Le descriptor de réseau de neurones adapté conduit à une correspondance in- variante de style plus précise. Nous utilisons de la correspondance de multi-résolution et de la vérification géométrique pour identifier des modèles presque dupliqués dans l’ensemble de données. Parallèlement à l’approche, nous proposons également un en- semble de données que nous appelons Brueghel (Shen et al., 2019; bru) qui permet d’évaluer la détection des détails de l’art inter-domaines. Notre deuxième contribution est l’apprentissage de la co-segmentation pour une paire d’images sur un jeu de données synthétique. Nous générons des paires d’entraînement en mélangeant des objets dans une image d’arrière-plan et en appliquant un transfert de style à la composition résultante. En conséquence, nous avons accès aux masques de vérité terrain des objets mélangés et aux correspondances entre l’image originale et l’image synthétisée. Nous comparons empiriquement les performances obtenues avec deux réseaux : Sparse Nc-Net (Rocco et al., 2020) et une architecture à base de transformer (Vaswani et al., 2017), et montrons que l’utilisation de Poisson Blending (Pérez et al., 2003) et de transfert de style est cruciale pour la généralisation. En termes de résultats, le transformer entraîné améliore les performances de détection et de découverte des détails d’art presque dupliqués. De plus, nous montrons que notre approche fonctionne bien sur la reconnaissance de lieux et la découverte d’objets dans les images naturelles. Notre dernière contribution est une méthode en deux étapes pour l’alignement d’images génériques. Au stade grossier, nous estimons les transformations d’homographie entre une paire d’images en utilisant des correspondances de descriptors standard de réseaux de neurones et RANSAC ; au stade avancé, nous concevons et apprenons un réseau de neurones convolutifs (CNN) pour prédire l’alignement au niveau des pixels à l’aide d’une perte de reconstruction. L’approche proposée est simple et per- met d’aligner des motifs artistiques presque dupliqués. Sur les images naturelles, l’approche proposée montre des performances compétitives ou meilleures sur différentes tâches : estimation de flux optique, évaluation de correspondances creuses, estimation de géométrie à deux vues, reconstruction 3D et alignement d’images Internet.
Fichier principal
Vignette du fichier
thesis.pdf (66.04 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03583653 , version 1 (12-03-2022)
tel-03583653 , version 2 (02-05-2022)

Identifiants

  • HAL Id : tel-03583653 , version 1

Citer

Xi Shen. Deep Learning for Near-duplicated Patterns Discovery and Alignment in Artworks. Artificial Intelligence [cs.AI]. École Doctorale MSTIC, 2021. English. ⟨NNT : ⟩. ⟨tel-03583653v1⟩
140 Consultations
8 Téléchargements

Partager

Gmail Facebook X LinkedIn More