Content-Based Image Retrieval : Deep neural networks for the exploration of large artistic corpus
Recherche d'images basée sur le contenu : Réseaux de neurones profonds pour l'exploration de grands corpus artistiques
Résumé
This thesis is part of the ANR project AAA – Augmented Artwork Analysis, which aims to develop tools for the assisted interpretation of artistic images. The project is also rooted in a broader reflection on the genealogy of forms in art history.The work fits within the development of a system for representing, querying, navigating, and visualizing images, with the goal of designing an interactive content-based image retrieval tool. This tool integrates deep neural networks to enable the exploration of large artistic corpora.This thesis focuses on the development of an interactive system for searching artistic images based on visual content, using deep neural networks to explore large corpora. This thesis proposes a new approach to the study of artistic forms using computer vision tools. Recent advances in object detection and recognition can be used to automatically identify specific patterns, shapes or elements within large corpora of images. These automated analyses could then yield visual relationships that have hitherto been difficult to access by manual observation, paving the way for a renewal of methods in art history.It is in this context that we became interested in the classification of works by genre, style and artist and the detection of objects in paintings. The main objective of this thesis is to develop a content-based image search tool for a corpus ranging from the 15th to the 20th centuries.To tackle this problem, we have implemented two complementary approaches. The first is to use classification models to recognise the artistic genres of the paintings. This step guides the search by matching paintings belonging to the same genre while remaining visually close.The second approach is based on the detection of objects in the paintings and the geometric and topological relationships that link them. The aim is to analyse the work and bring together similar works. Particular attention has been paid to the faces in the paintings, and in particular to the direction of gaze of the figures depicted.These two methodological approaches make it possible to cross-reference the results obtained by the algorithms with hypotheses derived from art history, and pave the way for a large-scale visual exploration of artistic forms.
Cette thèse s'inscrit dans le cadre du projet ANR AAA-Augmented Artwork Analysis, qui vise à développer un dispositif pour l'interprétation assistée d'images artistique. Le projet s’inscrit également dans une démarche qui tend à faire émerger la notion de généalogie des formes. La thèse se positionne dans un système de représentation, d’interrogation de navigation et de visualisation d’images qui tendent à l’élaboration d’un système interactif de recherche d’image basée sur le contenu en intégrant les réseaux de neurones profonds pour l'exploration de grand corpus artistiques.Cette thèse porte sur le développement d’un système interactif de recherche d’images artistiques basée sur le contenu visuel, s’appuyant sur les réseaux de neurones profonds pour l’exploration de grands corpus. Cette thèse propose une nouvelle approche pour l'étude des formes artistiques en utilisant les outils de la vision par ordinateur. Les avancées récentes en détection et reconnaissance d’objets peuvent permettre d’identifier automatiquement des motifs, des formes ou des éléments spécifiques au sein de vastes corpus d’images. Ces analyses automatisées pourraient alors donner des relations visuelles jusqu’ici difficilement accessibles par une observation manuelle, ouvrant la voie à un renouvellement des méthodes en histoire de l’art. C'est dans ce contexte que nous nous sommes intéressés à la classification des œuvres par genre, style et artiste et la détection d'objet dans les peintures. L'objectif principal de cette thèse est de développer un outil de recherche d'images basée sur le contenu dans un corpus allant du 15ème au 20ème siècles.Pour aborder cette problématique, nous avons mis en œuvre deux approches complémentaires. La première consiste à utiliser des modèles de classification pour reconnaître les genres artistiques des peintures. Cette étape permet de guider la recherche en rapprochant les œuvres appartenant au même genre tout en restant proches visuellement.La seconde approche repose sur la détection des objets dans les peintures et les relations géométriques et topologiques qui les relient. Elle vise à analyser l'œuvre et à rapprocher les œuvres ayant des similarités. Un intérêt particulier a été porté aux visages dans les peintures et notamment à la direction du regard des personnages représentés.Ces deux approches méthodologiques permettent de croiser les résultats obtenus par les algorithmes avec des hypothèses issues de l’histoire de l’art, et ouvrent la voie à une exploration visuelle à large échelle des formes artistiques.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
