Résolution variable et information privilégiée pour la reconnaissance d'images - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2016

Varying resolution and privileged information for image recognition

Résolution variable et information privilégiée pour la reconnaissance d'images

Résumé

Image classification has a prominent interest in for numerous visual recognition tasks, and more specifically in the case of vehicle recognition in airborne systems. In this context, the tackled images have a low resolution due to the large distance between the system and the observed scene. During the learning phase, complementary data may be available, in the form of knowledge about the point of view or of the high resolution version of the training image. In our work, we focus on the problem of low resolution image recognition. To address this problem, we first examine the adequacy of several state-of-the-art methods for image representation and classification to this context. More specifically, we evaluate the impact of the image resolution over the performances of several representation types. In particular, we show the interest of the convolutional neural networks, deep models for image representation and classification that have recently proven their efficiency on various tasks in visual recognition. Furthermore, we propose an architecture that can be learned on the data of interest, significantly improving the performances of the deep representations pre-trained on an external dataset. Moreover, in this context, the high resolution versions of the training images are available. For benefitting from these complementary data during the training phase, we rely on the framework of learning using privileged information. This recent approach enables taking into account the complementary data which are available for the training examples, yet unavailable for the test examples - this complementary information is referred to as the privileged information. We focus on the case where the privileged information associated to an example enables defining a difficulty level of this example. In this manuscript, we propose two models for integrating the privileged information into the learning phase of a neural network. In our first model deep+, the privileged information enables computing coefficients that weight the examples, assigning a high weight to the most easily recognized images, i.e. the most representative of their class. Our second model deep++ introduces a similarity constraint between the model learned on the privileged information and the model learned on the training examples, exploiting an additional term reflecting the relative difficulty between both representation spaces. We experimentally show the interest of our models with respect to state-of-the-art methods for integrating privileged information. We specifically show the interest of using deep neural networks instead of shallow methods as in various methods for learning using privileged information. Moreover, we show the interest of our models with respect to standard methods not using the privileged information. We focus on various image classification contexts. Thus, we show the efficiency of our models on the historical dataset MNIST as well as on fine-grained oriented databases. In particular, the study lead on UPMC-Food-101, a large dataset containing images crawled from the web, highlights our models' efficiency on databases containing annotation noise. We also provide a large quantitative and qualitative analysis of the different aspects of our models. Finally, we show the interest of our models on a more operational context by evaluating our approaches on a dataset proposed by Thales Optronique S.A.S..
La classification des images revêt un intérêt majeur dans de nombreuses tâches de reconnaissance visuelle, et plus particulièrement dans le cadre de la reconnaissance de véhicules au sol via les systèmes aéroportés. Dans ce contexte, les images traitées sont de faible résolution du fait de la large distance entre le porteur et la scène observée. Durant la phase d'apprentissage, des données complémentaires à ces images faiblement résolues peuvent être disponibles, qu'il s'agisse de connaissances relatives aux conditions de prise de vue ou de la version haute-résolution des images observées. Dans nos travaux, on s'intéresse au problème de la reconnaissance d'images faiblement résolues. Pour répondre à ce problème, on examine d'abord l'adéquation des méthodes de l'état de l'art pour la représentation et la classification de telles images. Plus précisément, on évalue l'impact de la résolution des images sur les performances de plusieurs types de représentations. On montre en particulier l'intérêt des réseaux de neurones convolutionnels, des modèles profonds pour la représentation et la classification d'images ayant récemment prouvé leur efficacité sur une multitude de tâches en reconnaissance visuelle. On propose également une architecture apprise sur les données d'intérêt permettant d'améliorer significativement les performances des représentations pré-entraînées sur une base de données externe. D'autre part, dans ce contexte, on dispose des versions haute-résolution des images d'apprentissage. Afin de bénéficier de ces données complémentaires durant la phase d'entraînement, on s'appuie sur le cadre de l'apprentissage avec information privilégiée. Cette approche récente permet de prendre en compte des données complémentaires aux exemples d'apprentissage, indisponibles pour les exemples de test, dite privilégiée. On se place dans le cadre où l'information privilégiée associée à un exemple d'entraînement permet d'en définir un niveau de difficulté. Dans ce manuscrit, nous proposons deux méthodes permettant d'intégrer l'information privilégiée dans l'apprentissage des réseaux de neurones convolutionnels profonds. Dans notre premier modèle deep+, l'information privilégiée permet de calculer des coefficients qui pondèrent les exemples d'apprentissage, attribuant un poids plus important aux images les plus facilement reconnaissables, i.e. les plus représentatives de leur classe. Notre deuxième modèle deep++ introduit une contrainte de similitude entre le modèle appris sur l'information privilégiée et le modèle appris sur les exemples d'apprentissage, exploitant un terme additionnel de difficulté relative entre les deux espaces de représentation. Expérimentalement, on montre l'intérêt de nos deux modèles par rapport aux méthodes concurrentes de l'état de l'art intégrant l'information privilégiée. On montre notamment l'intérêt d'utiliser des réseaux de neurones profonds plutôt que des méthodes plus superficielles, comme c'est le cas dans de nombreuses approches historiques de l'apprentissage avec information privilégiée. De plus, on montre l'intérêt de nos modèles par rapport aux méthodes standard sans information privilégiée. On considère pour cela plusieurs contextes de classification d'images. Ainsi, on montre l'efficacité de nos modèles sur la base historique MNIST ainsi que sur plusieurs bases orientées grain-fin. En particulier, l'étude menée sur UPMC-Food-101, une large base d'images récoltées sur le net, met en évidence l'intérêt de nos approches sur une base de données contenant du bruit d'annotation. On fournit également une large évaluation quantitative et qualitative des différents aspects de nos modèles. Enfin, on montre l'intérêt de nos méthodes dans un contexte plus opérationnel, en évaluant nos approches sur une base d'images propre à Thales Optronique S.A.S..
Fichier principal
Vignette du fichier
Manuscrit_MarionCHEVALIER.pdf (12.74 Mo) Télécharger le fichier

Dates et versions

tel-01469763 , version 1 (16-02-2017)
tel-01469763 , version 2 (24-10-2017)

Licence

Paternité - Pas d'utilisation commerciale - Pas de modification

Identifiants

  • HAL Id : tel-01469763 , version 1

Citer

Marion Chevalier. Résolution variable et information privilégiée pour la reconnaissance d'images. Vision par ordinateur et reconnaissance de formes [cs.CV]. Université Pierre et Marie Curie (UPMC Paris 6), 2016. Français. ⟨NNT : ⟩. ⟨tel-01469763v1⟩
423 Consultations
143 Téléchargements

Partager

Gmail Facebook X LinkedIn More