Modelling and classification of high-dimensional data: application to image analysis.
Modélisation et classification des données de grande dimension : application à l'analyse d'images.
Résumé
The main topic of this thesis is modeling and classification of high-dimensional data. Based on the
assumption that high-dimensional data live in subspaces with intrinsic dimensions smaller than the dimension of the original space and that the data of different classes live in different subspaces with different
intrinsic dimensions, we propose a re-parametrization of the Gaussian mixture model. By forcing some
parameters to be common within or between classes, we show a family of 28 Gaussian models appropriated for
high-dimensional data, from the most general model to the most parsimonious one. These models are then used
for discrimination and clustering of high-dimensional data. The classifiers associated with these models are
called respectively High Dimensional Discriminant Analysis (HDDA) and High Dimensional Data Clustering
(HDDC) and their construction is based on the maximum likelihood estimation of model parameters. The nature
of our re-parametrization allows HDDA and HDDC not to be disturbed by the ill-conditioning or the singularity of empirical covariance matrices and to be efficient in terms of computing time. The methods HDDA and HDDC are then used in a probabilistic framework to object recognition in images. This approach, which can be supervised or weakly-supervised, allows to locate in a probabilistic way an object in a new image. Our approach is validated on two recent image databases and compared to the most efficient object recognition methods.
assumption that high-dimensional data live in subspaces with intrinsic dimensions smaller than the dimension of the original space and that the data of different classes live in different subspaces with different
intrinsic dimensions, we propose a re-parametrization of the Gaussian mixture model. By forcing some
parameters to be common within or between classes, we show a family of 28 Gaussian models appropriated for
high-dimensional data, from the most general model to the most parsimonious one. These models are then used
for discrimination and clustering of high-dimensional data. The classifiers associated with these models are
called respectively High Dimensional Discriminant Analysis (HDDA) and High Dimensional Data Clustering
(HDDC) and their construction is based on the maximum likelihood estimation of model parameters. The nature
of our re-parametrization allows HDDA and HDDC not to be disturbed by the ill-conditioning or the singularity of empirical covariance matrices and to be efficient in terms of computing time. The methods HDDA and HDDC are then used in a probabilistic framework to object recognition in images. This approach, which can be supervised or weakly-supervised, allows to locate in a probabilistic way an object in a new image. Our approach is validated on two recent image databases and compared to the most efficient object recognition methods.
Le thème principal d'étude de cette thèse est la modélisation et la classification des données de grande
dimension. Partant du postulat que les données de grande dimension vivent dans des sous-espaces de
dimensions intrinsèques inférieures à la dimension de l'espace original et que les données de classes
différentes vivent dans des sous-espaces différents dont les dimensions intrinsèques peuvent être aussi
différentes, nous proposons une re-paramétrisation du modèle de mélange gaussien. En forçant certains
paramètres à être communs dans une même classe ou entre les classes, nous exhibons une famille de 28 modèles gaussiens adaptés aux données de grande dimension, allant du modèle le plus général au modèle le plus parcimonieux. Ces modèles gaussiens sont ensuite utilisés pour la discrimination et la classification
automatique de données de grande dimension. Les classifieurs associés à ces modèles sont baptisés respectivement High Dimensional Discriminant Analysis (HDDA) et High Dimensional Data Clustering (HDDC) et
leur construction se base sur l'estimation par la méthode du maximum de vraisemblance des paramètres du
modèle. La nature de notre re-paramétrisation permet aux méthodes HDDA et HDDC de ne pas être perturbées par le mauvais conditionnement ou la singularité des matrices de covariance empiriques des classes et d'être
efficaces en terme de temps de calcul. Les méthodes HDDA et HDDC sont ensuite mises en dans le cadre d'une
approche probabiliste de la reconnaissance d'objets dans des images. Cette approche, qui peut être
supervisée ou faiblement supervisée, permet de localiser de manière probabiliste un objet dans une
nouvelle image. Notre approche est validée sur des bases d'images récentes et comparée aux meilleures
méthodes actuelles de reconnaissance d'objets.
dimension. Partant du postulat que les données de grande dimension vivent dans des sous-espaces de
dimensions intrinsèques inférieures à la dimension de l'espace original et que les données de classes
différentes vivent dans des sous-espaces différents dont les dimensions intrinsèques peuvent être aussi
différentes, nous proposons une re-paramétrisation du modèle de mélange gaussien. En forçant certains
paramètres à être communs dans une même classe ou entre les classes, nous exhibons une famille de 28 modèles gaussiens adaptés aux données de grande dimension, allant du modèle le plus général au modèle le plus parcimonieux. Ces modèles gaussiens sont ensuite utilisés pour la discrimination et la classification
automatique de données de grande dimension. Les classifieurs associés à ces modèles sont baptisés respectivement High Dimensional Discriminant Analysis (HDDA) et High Dimensional Data Clustering (HDDC) et
leur construction se base sur l'estimation par la méthode du maximum de vraisemblance des paramètres du
modèle. La nature de notre re-paramétrisation permet aux méthodes HDDA et HDDC de ne pas être perturbées par le mauvais conditionnement ou la singularité des matrices de covariance empiriques des classes et d'être
efficaces en terme de temps de calcul. Les méthodes HDDA et HDDC sont ensuite mises en dans le cadre d'une
approche probabiliste de la reconnaissance d'objets dans des images. Cette approche, qui peut être
supervisée ou faiblement supervisée, permet de localiser de manière probabiliste un objet dans une
nouvelle image. Notre approche est validée sur des bases d'images récentes et comparée aux meilleures
méthodes actuelles de reconnaissance d'objets.