Learning compact representations for large scale image search - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2018

Learning compact representations for large scale image search

Apprentissage de représentations compactes pour la recherche d'images à grande échelle

Résumé

This thesis addresses the problem of large-scale image search. To tackle image search at large scale, it is required to encode images with compact representations which can be efficiently employed to compare images meaningfully. Obtaining such compact representation can be done either by compressing effective high dimensional representations or by learning compact representations in an end-to-end manner. The work in this thesis explores and advances in both of these directions. In our first contribution, we extend structured vector quantization approaches such as Product Quantization by proposing a weighted codeword sum representation. We test and verify the benefits of our approach for approximate nearest neighbor search on local and global image features which is an important way to approach large scale image search. Learning compact representation for image search recently got a lot of attention with various deep hashing based approaches being proposed. In such approaches, deep convolutional neural networks are learned to encode images into compact binary codes. In this thesis we propose a deep supervised learning approach for structured binary representation which is a reminiscent of structured vector quantization approaches such as PQ. Our approach benefits from asymmetric search over deep hashing approaches and gives a clear improvement for search accuracy at the same bit-rate. Inverted index is another important part of large scale search system apart from the compact representation. To this end, we extend our ideas for supervised compact representation learning for building inverted indexes. In this work we approach inverted indexing with supervised deep learning and make an attempt to unify the learning of inverted index and compact representation. We thoroughly evaluate all the proposed methods on various publicly available datasets. Our methods either outperform, or are competitive with the state-of-the-art.
Le multiplication des appareils connectés a conduit à la production et au partage via Internet d’une quantité considérable de données. Il y a plus de 1,8 milliard de sites Web1 accessibles par Internet, contenant des données sous forme de texte, d’images, de fichiers audio ou encore de vidéos. Cette grande quantité de données crée d’immenses opportunités, mais également d’important défis, en particulier relativement à leur compréhension, à leur analyse et à leur bonne organisation. Trouver des documents ou des informations intéressants dans cette quantité considérable de données, nécessite un système de recherche puissant et efficace. Pour concevoir un tel système, il est essentiel d’avoir un certain degré de compréhension du contenu et un moyen efficace de comparaison basé sur cette compréhension. Ces problèmes deviennent encore plus difficiles lorsque les données sont visuelles, parce que définir le sens ou le contenu de ce type de données ne se fait pas sans une certaine dose de subjectivité. Et donc, trouver une représentation capable de gérer les différentes significations sémantiques possibles des données est difficile. Dans notre travail, nous nous attachons à résoudre ce problème difficile à travers différentes contributions qui s’inscrivent dans la volonté de créer un système de recherche d’images efficace. Un système de recherche d’images est censé indexer et encoder une large base de données de sorte que, lors d’une requête utilisateur, le système soit capable de récupérer les images pertinentes en temps réel. Comme nous le verrons dans les sections suivantes, un tel système repose sur une représentation précise et compacte des données. Ce travail de thèse se concentre sur l’apprentissage de représentations d’images compactes et leur utilisation dans le cadre d’une recherche d’images efficace et précise. En particulier, il aborde la question de la recherche d’images à grande échelle.
Fichier principal
Vignette du fichier
HimalayaJain_Thesis.pdf (2.67 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01889405 , version 1 (06-10-2018)
tel-01889405 , version 2 (30-11-2018)

Identifiants

  • HAL Id : tel-01889405 , version 1

Citer

Himalaya Jain. Learning compact representations for large scale image search. Computer Vision and Pattern Recognition [cs.CV]. Inria Rennes; Technicolor, Rennes, 2018. English. ⟨NNT : ⟩. ⟨tel-01889405v1⟩
599 Consultations
493 Téléchargements

Partager

Gmail Facebook X LinkedIn More