Motion estimation and segmentation
Part I : Motion estimation through spatio-temporal motion-tuned wavelets.
Part II : Segmentation and motion estimation using a hidden Markov model and Bayesian estimation in the direct and wavelet domain.
Estimation de mouvement et segmentation
Partie I : Estimation de mouvement par ondelettes spatio-temporelles adaptées au mouvement.
Partie II : Segmentation et estimation de mouvement par modèles de Markov cachés et approche bayésienne dans les domaines direct et ondelette.
Résumé
The first part of this thesis presents a new vision of the motion estimation problem, and hence of the compression of video sequences. On one
hand, we have chosen to investigate motion estimation from redundant wavelet families tuned to different kind of transformations and, in particular,
to speed. These families, not well known, have already been studied in the framework of target tracking. On the other hand, today video standards,
like MPEG4, are supposed to realize the compression in an object-based approach, but still compute raw motion vectors on ``blocks''. We thus
implemented these wavelet families because 1) they are built to perform motion parameter quantization on several kinds of motions
(rotation, speed, acceleration) and 2) we think that an approach of motion estimation based on the trajectory identification of objects
motions in a scene is an interesting solution for future compression methods. We are convinced that motion analysis, and
understanding, is a way of reaching powerful ``contextual'' compression methods.
The second part introduces two new methods and algorithms of unsupervised classification and segmentation in a Bayesian approach. The first one,
dedicated to the reduction of computation times in the segmentation of video sequences, is based on an iterative, simple, implementation of the
segmentation. It also enabled us to set up a motion estimation based on objects segmentation. The second is aimed at reducing the segmentation times,
for images, by performing the segmentation in the wavelet domain. Both algorithms are based on a Bayesian estimation approach with a Potts-Markov
random field (PMRF) model for the labels of the pixels, in the direct domain, and for the wavelet coefficients. It also uses an iterative MCMC
(Markov Chain Monte-Carlo) algorithm based on a Gibbs sampler. The initial PMRF model, in the direct domain, works with a first order neighboring. We
have developed the PMRF model to tune it to the priviledged orientations of the wavelet subbands. These realizations provide, to our knowledge, new
approaches to unsupervised segmentation methods.
hand, we have chosen to investigate motion estimation from redundant wavelet families tuned to different kind of transformations and, in particular,
to speed. These families, not well known, have already been studied in the framework of target tracking. On the other hand, today video standards,
like MPEG4, are supposed to realize the compression in an object-based approach, but still compute raw motion vectors on ``blocks''. We thus
implemented these wavelet families because 1) they are built to perform motion parameter quantization on several kinds of motions
(rotation, speed, acceleration) and 2) we think that an approach of motion estimation based on the trajectory identification of objects
motions in a scene is an interesting solution for future compression methods. We are convinced that motion analysis, and
understanding, is a way of reaching powerful ``contextual'' compression methods.
The second part introduces two new methods and algorithms of unsupervised classification and segmentation in a Bayesian approach. The first one,
dedicated to the reduction of computation times in the segmentation of video sequences, is based on an iterative, simple, implementation of the
segmentation. It also enabled us to set up a motion estimation based on objects segmentation. The second is aimed at reducing the segmentation times,
for images, by performing the segmentation in the wavelet domain. Both algorithms are based on a Bayesian estimation approach with a Potts-Markov
random field (PMRF) model for the labels of the pixels, in the direct domain, and for the wavelet coefficients. It also uses an iterative MCMC
(Markov Chain Monte-Carlo) algorithm based on a Gibbs sampler. The initial PMRF model, in the direct domain, works with a first order neighboring. We
have developed the PMRF model to tune it to the priviledged orientations of the wavelet subbands. These realizations provide, to our knowledge, new
approaches to unsupervised segmentation methods.
La première partie de ce mémoire présente une nouvelle vision de l'estimation de mouvement, et donc de la compression, dans les séquences
vidéo. D'une part, nous avons choisi d'aborder l'estimation de mouvement à partir de familles d'ondelettes redondantes adaptées à différentes
transformations, dont, plus particulièrement, la vitesse. Ces familles, très peu connues, ont déjà été étudiées dans le cadre de la poursuite de
cibles. D'autre part, les standards de compression actuels comme MPEG4 prennent en compte une compression objet mais ne calculent toujours que de
simples vecteurs de mouvements de ``blocs''. Il nous a paru intéressant de chercher à mettre en oeuvre ces familles d'ondelettes car 1)
elle sont construites pour le calcul de paramètres sur plusieurs types de mouvement (rotation, vitesse, accélération) et 2) nous
pensons qu'une approche de l'estimation basée sur l'identification de trajectoires d'objets dans une scène est une solution intéressante pour les
méthodes futures de compression. En effet nous pensons que l'analyse et la compréhension des mouvements dans une scène est une voie pour des méthodes
de compression ``contextuelles'' performantes.
La seconde partie présente deux développements concernant la segmentation non-supervisée dans une approche bayésienne. Le premier, destiné à réduire
les temps de calcul dans la segmentation de séquences vidéo, est basé sur une mise en oeuvre itérative, simple, de la segmentation. Il nous a aussi
permis de mettre une estimation de mouvement basée sur une segmentation ``région'' (voire objet). Le second est destiné à diminuer les temps de
segmentation d'images fixes en réalisant la segmentation dans le domaine des ondelettes. Ces deux développements sont basés sur une approche par
estimation bayésienne utilisant un modèle de champ aléatoire de Potts-Markov (PMRF) pour les étiquettes des pixels, dans le domaine direct, et pour
les coefficients d'ondelettes. Il utilise aussi un algorithme itératif de type MCMC (Markov Chain Monte Carlo) avec échantillonneur de Gibbs.
L'approche initiale, directe, utilise un modèle de Potts avec voisinage d'ordre un. Nous avons développé le modèle de Potts pour l'adapter à des
voisinages convenant aux orientations privilégiées des sous-bandes d'ondelettes. Ces réalisations apportent, à notre connaissance, des approches
nouvelles dans les méthodes de segmentation
non-supervisées.
vidéo. D'une part, nous avons choisi d'aborder l'estimation de mouvement à partir de familles d'ondelettes redondantes adaptées à différentes
transformations, dont, plus particulièrement, la vitesse. Ces familles, très peu connues, ont déjà été étudiées dans le cadre de la poursuite de
cibles. D'autre part, les standards de compression actuels comme MPEG4 prennent en compte une compression objet mais ne calculent toujours que de
simples vecteurs de mouvements de ``blocs''. Il nous a paru intéressant de chercher à mettre en oeuvre ces familles d'ondelettes car 1)
elle sont construites pour le calcul de paramètres sur plusieurs types de mouvement (rotation, vitesse, accélération) et 2) nous
pensons qu'une approche de l'estimation basée sur l'identification de trajectoires d'objets dans une scène est une solution intéressante pour les
méthodes futures de compression. En effet nous pensons que l'analyse et la compréhension des mouvements dans une scène est une voie pour des méthodes
de compression ``contextuelles'' performantes.
La seconde partie présente deux développements concernant la segmentation non-supervisée dans une approche bayésienne. Le premier, destiné à réduire
les temps de calcul dans la segmentation de séquences vidéo, est basé sur une mise en oeuvre itérative, simple, de la segmentation. Il nous a aussi
permis de mettre une estimation de mouvement basée sur une segmentation ``région'' (voire objet). Le second est destiné à diminuer les temps de
segmentation d'images fixes en réalisant la segmentation dans le domaine des ondelettes. Ces deux développements sont basés sur une approche par
estimation bayésienne utilisant un modèle de champ aléatoire de Potts-Markov (PMRF) pour les étiquettes des pixels, dans le domaine direct, et pour
les coefficients d'ondelettes. Il utilise aussi un algorithme itératif de type MCMC (Markov Chain Monte Carlo) avec échantillonneur de Gibbs.
L'approche initiale, directe, utilise un modèle de Potts avec voisinage d'ordre un. Nous avons développé le modèle de Potts pour l'adapter à des
voisinages convenant aux orientations privilégiées des sous-bandes d'ondelettes. Ces réalisations apportent, à notre connaissance, des approches
nouvelles dans les méthodes de segmentation
non-supervisées.
Fichier principal
Thesis_preliminary_approved.pdf (4.27 Mo)
Télécharger le fichier
soutenance_these_patB_29nov2005_FINAL.pps (5.89 Mo)
Télécharger le fichier
| Format | Autre |
|---|
Loading...