Models for images and video foreground segmentation using finite mixtures of generalized Gaussians
Modèles de segmentation d'avant-plan d'images et vidéos par les mélanges finis de Gaussiennes généralisées
Résumé
In this thesis, we deal with the foreground segmentation (FS) problem that is a key issue to numerous computer vision applications such as document analysis, object recognition, and video surveillance. Two problems can arise from the foreground segmentation depending on the input data: image foreground segmentation vs. video foreground segmentation. Many approaches have been proposed to address both of these problems, among of them is the histogram-based approach. However, most of the histogram-based approaches assume a unimodal Gaussian histogram shape for data classes and make use of parameters to estimate their distributions.
Consequently, the efficiency these techniques could be affected by the fact that the data distribution is multi-modal and/or non-Gaussian. Moreover, addressing the problem of video foreground segmentation is not a trivial task especially in some challenging situations such as illumination changes, cast shadows, dynamic backgrounds, and pan-tilt-zoom (PTZ). These challenges have been widely studied to be able to make the current approaches more robust to such scenarios.
To address the FS in images and videos, we use the mixture of generalized Gaussians (MoGG’s) for modeling the histogram of data (image or video). The merits of using the MoGG include: (i) An additional degree of freedom that controls its kurtosis. (ii) Histogram modes, ranging from sharply peaked to flat ones, can be accurately represented using this model. (iii) Skewed and multi-modal classes are explicitly represented using mixtures of GGDs. Furthermore, an online mixture of generalized Gaussian (MoGG) model is used to model the temporal information represented by the pixel history in image sequences. The former model is enriched by integrating temporal co-occurrence of background/foreground classes to deal with complex background dynamics. Besides, spatial analysis is introduced to deal with shadows, stopping objects, and PTZ camera effects.
The proposed algorithms have been developed to run in real-world environmentswith near real-time performance. Experiments on the available datasets show that the proposed algorithms significantly enhance results (both qualitatively and quantitatively) compared to the other state-of-the-art techniques.
Dans cette thèse, nous traitons le problème de segmentation des objets en premier plan (FS) qui est une question clé pour de nombreuses applications de vision par ordinateur telles que l'analyse de documents, la reconnaissance d'objets, et la surveillance vidéo. Deux problèmes peuvent survenir à partir de la segmentation de premier plan en fonction des données d'entrée en fonction de l’entrée : image fixe ou vidéo. De nombreuses approches ont été proposées pour résoudre ces deux problèmes, dont l'approche basée sur l'histogramme. Cependant, la plupart des approches fondées sur l'histogramme, considèrent une forme d'histogramme gaussienne uni-modale pour les classes de données.
Par conséquent, l'efficacité de ces techniques pourrait être affectée par le fait que la distribution des données est multimodale et/ou non gaussienne. En outre, le problème de la segmentation vidéo de est une tâche ardue en particulier dans certaines situations difficiles telles que les changements d'éclairage, les ombres projetées, milieux dynamiques et pan-tilt-zoom (PTZ). Ces défis ont été largement étudiés pour être en mesure de proposer des solutions robustes à ces scénarios.
Pour répondre à cette problématique de segmentation d’images et de vidéos, nous utilisons le mélange de gaussiennes généralisées pour la modélisation de l'histogramme des données (image ou vidéo). Le bien-fondé de l'utilisation de cette approche peut se résumée à: (i) Un degré de liberté supplémentaire qui contrôle son aplatissement. (Ii) les modes d’histogramme, avec formes en pics ou plates, peuvent être représentés avec précision en utilisant ce modèle. (Iii) les classes asymétriques et multimodales sont explicitement représentés en utilisant ce modèle. En outre, un mélange en ligne de Gaussiennes généralisées est utilisé pour modéliser l'information temporelle représentée par l’évolution de pixels dans des séquences d'images. L'ancien modèle est enrichi en intégrant l’aspect co-occurrence temporelle de classes arrière-plan / premier plan pour faire face à la dynamique d’arrières plans complexes. Par ailleurs, l'analyse spatiale est introduite pour faire face aux problèmes des ombres, des objets d'arrêt, et PTZ effets de caméra.
Les algorithmes proposés ont été développés pour fonctionner dans le monde réel avec des performances en quasi temps réel. Les expériences sur les ensembles de données disponibles montrent que les algorithmes proposés améliorent considérablement les résultats (à la fois qualitativement et quantitativement) par rapport aux autres techniques courantes.
Domaines
Traitement des images [eess.IV]
Loading...