Transductive and Inductive Adaptative Inference for Regression and Density Estimation
Inférence Adaptative, Inductive et Transductive, pour l'Estimation de la Regression et de la Densité
Abstract
The aim of this thesis is the study of statistical properties of
learning algorithm in the case of regression and density estimation.
It is divided into three parts.
In the first part, the idea is to generalize Olivier Catoni's
PAC-Bayesian theorems about classification to the
case of regression estimation with a general loss function.
In the second part, we focus more particularly on the least square
regression and propose a new iterative algorithm for feature
selection. This method can be applied to the case of orthonormal
function basis, leading to optimal rates of convergences, as well as
to kernel type functions, leading to some variants of the well-known
SVM method.
In the third part, we generalize the method proposed in the second
part to the density estimation setting with quadratic loss.
learning algorithm in the case of regression and density estimation.
It is divided into three parts.
In the first part, the idea is to generalize Olivier Catoni's
PAC-Bayesian theorems about classification to the
case of regression estimation with a general loss function.
In the second part, we focus more particularly on the least square
regression and propose a new iterative algorithm for feature
selection. This method can be applied to the case of orthonormal
function basis, leading to optimal rates of convergences, as well as
to kernel type functions, leading to some variants of the well-known
SVM method.
In the third part, we generalize the method proposed in the second
part to the density estimation setting with quadratic loss.
Cette thèse a pour objet l'étude des
propriétés statistiques d'algorithmes d'apprentissage dans le cas de
l'estimation de la régression et de la densité. Elle est divisée en
trois parties.
La première partie consiste en une généralisation des théorèmes
PAC-Bayésiens, sur la classification, d'Olivier Catoni, au cas de la régression avec une fonction de perte
générale.
Dans la seconde partie, on étudie plus particulièrement le cas de la
régression aux moindres carrés et on propose un nouvel algorithme de
sélection de variables. Cette méthode peut être appliquée notamment
au cas d'une base de fonctions orthonormales, et conduit alors à des
vitesses de convergence optimales, mais aussi au cas de fonctions de
type noyau, elle conduit alors à une variante des méthodes dites
"machines à vecteurs supports" (SVM).
La troisième partie étend les résultats de la seconde au cas de
l'estimation de densité avec perte quadratique.
propriétés statistiques d'algorithmes d'apprentissage dans le cas de
l'estimation de la régression et de la densité. Elle est divisée en
trois parties.
La première partie consiste en une généralisation des théorèmes
PAC-Bayésiens, sur la classification, d'Olivier Catoni, au cas de la régression avec une fonction de perte
générale.
Dans la seconde partie, on étudie plus particulièrement le cas de la
régression aux moindres carrés et on propose un nouvel algorithme de
sélection de variables. Cette méthode peut être appliquée notamment
au cas d'une base de fonctions orthonormales, et conduit alors à des
vitesses de convergence optimales, mais aussi au cas de fonctions de
type noyau, elle conduit alors à une variante des méthodes dites
"machines à vecteurs supports" (SVM).
La troisième partie étend les résultats de la seconde au cas de
l'estimation de densité avec perte quadratique.
Keywords
statistical learning theory
model<br />selection
least square regression estimation
confidence regions
<br />concentration inequalities
pac-bayesian bounds
non-parametric<br />estimation
adaptative estimation
empirical complexity measure
<br />compression schemes
support vector machines
oracle inequalities
<br />randomized estimator
Gibbs distribution
density estimation
<br />wavelets
bound on the risk.
borne sur le risque
théorie de l'apprentissage statistique
sélection de modèles
régression aux moindres carrés
régions de confiance
inégalités de concentration
bornes pac-bayésiennes
estimation non-paramétrique
estimation adaptative
mesures empiriques de la complexité
schémas de compression
machines à vecteur support
inégalités oracles
estimateurs randomisés
distribution de Gibbs
estimation de la densité
ondelettes
borne sur le risque.