Towards robust visual object tracking : proposal selection and occlusion reasoning
Vers un suivi robuste d'objets visuels : sélection de propositions et traitement des occlusions
Résumé
In this dissertation we address the problem of visual object tracking, whereinthe goal is to localize an object and determine its trajectory over time. Inparticular, we focus on challenging scenarios where the object undergoessignificant transformations, becomes occluded or leaves the field of view. Tothis end, we propose two robust methods which learn a model for the object ofinterest and update it, to reflect its changes over time.Our first method addresses the tracking problem in the context of objectsundergoing severe geometric transformations, such as rotation, change in scale.We present a novel proposal-selection algorithm, which extends the traditionaldiscriminative tracking-by-detection approach. This method proceeds in twostages -- proposal followed by selection. In the proposal stage, we compute acandidate pool that represents the potential locations of the object byrobustly estimating the geometric transformations. The best proposal is thenselected from this candidate set to localize the object precisely usingmultiple appearance and motion cues.Second, we consider the problem of model update in visual tracking, i.e.,determining when to update the model of the target, which may become occludedor leave the field of view. To address this, we use motion cues to identify thestate of the object in a principled way, and update the model only when theobject is fully visible. In particular, we utilize long-term trajectories incombination with a graph-cut based technique to estimate parts of the objectsthat are visible.We have evaluated both our approaches extensively on several trackingbenchmarks, notably, recent online tracking benchmark and the visual objecttracking challenge datasets. Both our approaches compare favorably to thestate of the art and show significant improvement over several other recenttrackers. Specifically, our submission to the visual object tracking challengeorganized in 2015 was the winner in one of the competitions.
Cette dissertation traite du problème du suivi d'objets visuels, dont le but est de localiser un objet et de déterminer sa trajectoire au cours du temps. En particulier, nous nous concentrons sur les scénarios difficiles, dans lesquels les objets subissent d'importantes déformations et occlusions, ou quittent le champs de vision. A cette fin, nous proposons deux méthodes robustes qui apprennent un modèle pour l'objet d'intérêt et le mettent à jour, afin de refléter ses changements au cours du temps.Notre première méthode traite du problème du suivi dans le cas où les objets subissent d'importantes transformations géométriques comme une rotation ou un changement d'échelle. Nous présentons un nouvel algorithme de sélection de propositions, qui étend l'approche traditionnelle de ``suivi par détection''. Cette méthode procède en deux étapes: proposition puis sélection. Dans l'étape de proposition, nous construisons un ensemble de candidats qui représente les localisations potentielles de l'objet en estimant de manière robuste les transformations géométriques. La meilleure proposition est ensuite sélectionnée parmi cet ensemble de candidats pour précisément localiser l'objet en utilisant des indices d'apparence et de mouvement.Dans un second temps, nous traitons du problème de la mise à jour de modèles dans le suivi visuel, c'est-à-dire de déterminer quand il est besoin de mettre à jour le modèle de la cible, lequel peut subir une occlusion, ou quitter le champs de vision. Pour résoudre cela, nous utilisons des indices de mouvement pour identifier l'état d'un objet de manière automatique et nous mettons à jour le modèle uniquement lorsque l'objet est entièrement visible. En particulier, nous utilisons des trajectoires à long terme ainsi qu'une technique basée sur la coup de graphes pour estimer les parties de l'objet qui sont visibles.Nous avons évalué nos deux approches de manière étendue sur différents bancs d'essai de suivi, en particulier sur le récent banc d'essai de suivi en ligne et le jeu de donnée du concours de suivi visuel. Nos deux approches se comparent favorablement à l'état de l'art et font montre d'améliorations significatives par rapport à plusieurs autres récents suiveurs. Notre soumission au concours de suivi d'objets visuels de 2015 a par ailleurs remporté l'une de ces compétitions.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...