Vision cognitive : apprentissage supervisé pour la segmentation d'images et de videos - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2007

Cognitive vision: supervised learning for image and video segmentation

Vision cognitive : apprentissage supervisé pour la segmentation d'images et de videos

Résumé

In this thesis we address the problem of image and video segmentation with a cognitive vision approach. More precisely, we study two major issues of the segmentation task in vision systems: the selection of an algorithm and the tuning of its free parameters according to the image contents and the application needs. We propose a learning-based methodology to easily set up and continuously adapt the segmentation task. Our first contribution is a generic optimization procedure to automatically extract optimal algorithm parameters. The evaluation of the segmentation quality is done with regards to reference segmentations. In this way, the user task is reduced to provide reference data of training images, as manual segmentations. A second contribution is a twofold strategy for the algorithm selection issue. This strategy relies on a training image set representative of the problem. The first part uses the results of the optimization stage to perform a global ranking of algorithm performance values. The second part consists in identifying different situations from the training image set and then to associate a tuned segmentation algorithm with each situation. A third contribution is a semantic approach to image segmentation. In this approach, we combine the result from the previously (bottom-up) optimized segmentations to a region labelling process. Regions labels are given by region classifiers which are trained from annotated samples. A fourth contribution is the implementation of the approach and the development of a graphical tool currently able to carry out the learning of segmentation knowledge (automatic parameter optimization, region annotations, region classifier training, and algorithm selection) and to use this knowledge to perform adaptive segmentation. We have tested our approach on two real-world applications: a biological application (detection and counting of pests on rose leaves) for the static segmentation part, and video surveillance applications for the video figure-ground segmentation part. Results, quantitative evaluations, and comparisons with non-adaptive segmentations are presented to show the potential of our approach. For the segmentation task in the biological application, the proposed adaptive segmentation approach over performs a non-adaptive segmentation in terms of segmentation quality and thus allows the vision system to count the pests with a better precision. For the figure-ground video segmentation task, the main contribution of my approach takes place at the context modelling level. By achieving dynamic background model selection based on context analysis, my approach allows to enlarge the scope of surveillance applications to high variable environments. The main limitation of our approach is its lack of adaptation to unforeseen situations. An improvement could be to use continuous learning technique to adapt the segmentation to new situations.
Dans cette thèse, nous abordons le problème de la segmentation d'image dans le cadre de la vision cognitive. Plus précisément, nous étudions deux problèmes majeurs dans les systèmes de vision : la sélection d'un algorithme de segmentation et le réglage de ses paramètres selon le contenu de l'image et les besoins de l'application. Nous proposons une méthodologie reposant sur des techniques d'apprentissage pour faciliter la configuration des algorithmes et adapter en continu la tâche de segmentation. Notre première contribution est une procédure d'optimisation générique pour l'extraction automatiquement des paramètres optimaux des algorithmes. L'évaluation de la qualité de la segmentation est faite suivant une segmentation de référence. De cette manière, la tâche de l'utilisateur est réduite à fournir des données de référence pour des images d'apprentissage, comme des segmentations manuelles. Une seconde contribution est une stratégie pour le problème de sélection d'algorithme. Cette stratégie repose sur un jeu d'images d'apprentissage représentatif du problème. La première partie utilise le résultat de l'étape d'optimisation pour classer les algorithmes selon leurs valeurs de performance pour chaque image. La seconde partie consiste à identifier différentes situations à partir du jeu d'images d'apprentissage (modélisation du contexte) et à associer un algorithme paramétré avec chaque situation identifiée. Une troisième contribution est une approche sémantique pour la segmentation d'image. Dans cette approche, nous combinons le résultat des segmentations optimisées avec un processus d'étiquetage des régions. Les labels des régions sont donnés par des classificateurs de régions eux-mêmes entrainés à partir d'exemples annotés par l'utilisateur. Une quatrième contribution est l'implémentation de l'approche et le développement d'un outil graphique dédié à l'extraction, l'apprentissage, et l'utilisation de la connaissance pour la segmentation (modélisation et apprentissage du contexte pour la sélection dynamique d'algorithme de segmentation, optimisation automatique des paramètres, annotations des régions et apprentissage des classifieurs). Nous avons testé notre approche sur deux applications réelles : une application biologique (comptage d'insectes sur des feuilles de rosier) et une application de vidéo surveillance. Pour la première application, la segmentation des insectes obtenue par notre approche est de meilleure qualité qu'une segmentation non-adaptative et permet donc au système de vision de compter les insectes avec une meilleure précision. Pour l'application de vidéo surveillance, la principale contribution de l'approche proposée se situe au niveau de la modélisation du contexte, permettant d'adapter le choix d'un modèle de fond suivant les caractéristiques spatio-temporelles de l'image. Notre approche permet ainsi aux applications de vidéo surveillance d'élargir leur champ d'application aux environnements fortement variables comme les très longues séquences (plusieurs heures) en extérieur. Afin de montrer le potentiel et les limites de notre approche, nous présentons les résultats, une évaluation quantitative et une comparaison avec des segmentations non-adaptative.
Fichier principal
Vignette du fichier
phd.pdf (4.96 Mo) Télécharger le fichier

Dates et versions

tel-00497797 , version 1 (06-07-2010)

Identifiants

  • HAL Id : tel-00497797 , version 1

Citer

Vincent Martin. Vision cognitive : apprentissage supervisé pour la segmentation d'images et de videos. Interface homme-machine [cs.HC]. Université Nice Sophia Antipolis, 2007. Français. ⟨NNT : ⟩. ⟨tel-00497797⟩

Collections

INRIA INRIA2
586 Consultations
198 Téléchargements

Partager

Gmail Facebook X LinkedIn More