Representations and Similarities of Images for Visual Classification
Représentations et Similarités d'Images Pour la Classification Visuelle
Résumé
With the rapid development of digital cameras and camera phones, the world is currently experiencing a digital imaging revolution. There has been a great interest in the last decade in automatic image annotation, i.e. assigning to an image one or multiple labels based on its semantic content. In the field of image annotation, representations based on the bag-of-patches (BOP) - which describe an image as an unordered set of low-level local feature vectors - combined with kernel-based learning have become the state-of-the-art. The focus of this thesis has been on the definition of probabilistic representations of images based on the BOP assumption and the computation of similarities between such representations with application to kernel learning of image classifiers. First, we propose a novel GMM-based representation of images which is based on the maximum a posteriori (MAP) adaptation of a "universal" GMM. Then, we propose to approximate an image, modeled as a GMM, as a convex combination of /K /reference image GMMs (later referred to as MOM for mixture of mixtures) and to characterize this image as a /K/-dimensional vector of mixture weights. We also propose an alternative measure of contextual similarity between distributions: the similarity between two distributions /p /and /q /is measured in the context of a third distribution /u/. Finally we experiment with three approaches to BOV embedding: 1) kernel PCA (kPCA), 2) a modified kPCA we propose for additive kernels and 3) random projections for shift-invariant kernels. An important conclusion is that simply square-rooting BOV vectors - which corresponds to an exact mapping for the Bhattacharyya kernel -already leads to large improvements, often quite close to the best results obtained with additive kernels.
Avec le développement rapide des caméras numériques et photophones, le monde connaît actuellement une révolution de l'image numérique. Un intérêt croissant a émergé de la communauté de recherche ces dernières années pour une annotation automatique d'images visant à associer une ou plusieurs étiquettes à une image en fonction de son contenu sémantique. Dans le domaine de l'annotation automatique d'images, l’approche populaire est celle dite « sac-de-patches » (BOP) qui représente une image comme étant un ensemble non-ordonné de vecteurs de caractéristiques locaux de bas niveau. Les travaux de cette thèse poursuivent donc deux objectifs : d’une part une représentation probabiliste des images basées sur les BOPs et d’autre part le calcul des similarités entre celles-ci. Ces travaux ont été appliqués à l'apprentissage de classifieurs d'images à noyau. Tout d’abord, nous proposons une nouvelle représentation d’image basée sur le GMM qui est fondée sur l’adaptation du critère maximum à posteriori (MAP) d’un modèle "universel". Et puis, nous proposons donc d’approximer une image, modélisée comme un GMM, comme une combinaison convexe de K GMMs issues de K images de référence (MOM, mélange de mélanges) et à caractériser cette image comme un vecteur à K dimensions des poids du mélange. Aussi, nous proposons une autre mesure de similarité contextuelle entre les distributions: la similarité entre deux distributions p et q est mesurée dans le contexte d'une troisième distribution u. Enfin, nous avons expérimenté trois approches pour une transformation explicite des BOVs: 1) kernel-PCA (kPCA), 2) une modification de kPCA que nous proposons pour les noyaux additifs et que nous applellons addkPCA et 3) des projections aléatoires pour des noyaux invariants par déplacement. On en conclut en premier lieu qu’un simple calcul de la racine carré des vecteurs de BOV, qui correspond à une transformation exacte pour le noyau Bhattacharyya, conduit à des améliorations importantes de performances.
Domaines
Sciences de l'ingénieur [physics]| Origine | Version validée par le jury (STAR) |
|---|