Statistical performances of learning algorithm : Kernel Projection Machine and Kernel Principal Component Analysis - TEL - Thèses en ligne Access content directly
Theses Year : 2005

Statistical performances of learning algorithm : Kernel Projection Machine and Kernel Principal Component Analysis

PERFORMANCES STATISTIQUES D'ALGORITHMES D'APPRENTISSAGE : ``KERNEL PROJECTION
MACHINE'' ET ANALYSE EN COMPOSANTES PRINCIPALES A NOYAU.

Laurent Zwald

Abstract

This thesis takes place within the framework of statistical
learning. It brings contributions to the machine learning community using
modern statistical techniques based on progress in the study of empirical
processes. The first part investigates the statistical properties of Kernel
Principal Component Analysis (KPCA). The behavior of the reconstruction error is
studied with a non-asymptotic point of view and concentration inequalities of
the eigenvalues of the kernel matrix
are provided. All these results
correspond to fast convergence rates. Non-asymptotic results concerning the
eigenspaces of KPCA themselves are also provided. A new algorithm of
classification has been designed in the second part: the Kernel Projection
Machine (KPM). It is inspired by the Support Vector Machines (SVM). Besides,
it
highlights that the selection of a vector space by a dimensionality
reduction method such as KPCA regularizes suitably. The choice of the vector
space involved in the KPM is guided by statistical studies of model selection
using the penalized minimization of the empirical loss.
This regularization procedure is intimately connected with the finite
dimensional projections studied in the statistical work of Birgé and
Massart. The performances of KPM and SVM are then compared on some data
sets. Each topic tackled in this thesis raises new questions.
La thèse se place dans le cadre de l'apprentissage statistique. Elle apporte
des contributions à la communauté du machine learning en utilisant des
techniques de statistiques modernes basées sur des avancées dans l'étude
des processus empiriques. Dans une première partie, les propriétés statistiques de
l'analyse en composantes principales à noyau (KPCA) sont explorées. Le
comportement de l'erreur de reconstruction est étudié avec un point de vue
non-asymptotique et des inégalités de concentration des valeurs propres de la matrice de
Gram sont données. Tous ces résultats impliquent des vitesses de
convergence rapides. Des propriétés
non-asymptotiques concernant les espaces propres de la KPCA eux-mêmes sont également
proposées. Dans une deuxième partie, un nouvel
algorithme de classification a été
conçu : la Kernel Projection Machine (KPM).
Tout en s'inspirant des Support Vector Machines (SVM), il met en lumière que la sélection d'un espace vectoriel par une méthode de
réduction de la dimension telle que la KPCA régularise
convenablement. Le choix de l'espace vectoriel utilisé par la KPM est guidé par des études statistiques de sélection de modéle par minimisation pénalisée de la perte empirique. Ce
principe de régularisation est étroitement relié à la projection fini-dimensionnelle étudiée dans les travaux statistiques de
Birgé et Massart. Les performances de la KPM et de la SVM sont ensuite comparées sur différents jeux de données. Chaque thème abordé dans cette thèse soulève de nouvelles questions d'ordre théorique et pratique.
Fichier principal
Vignette du fichier
structuretheseZwald_1.pdf (2.57 Mo) Télécharger le fichier

Dates and versions

tel-00012011 , version 1 (22-03-2006)

Identifiers

  • HAL Id : tel-00012011 , version 1

Cite

Laurent Zwald. Statistical performances of learning algorithm : Kernel Projection Machine and Kernel Principal Component Analysis. Mathematics [math]. Université Paris Sud - Paris XI, 2005. English. ⟨NNT : ⟩. ⟨tel-00012011⟩
301 View
306 Download

Share

Gmail Facebook X LinkedIn More