Cross-validation and penalization for density estimation
Validation croisée et pénalisation pour l'estimation de densité
Abstract
This thesis takes place in the density estimation setting from a nonparametric and nonasymptotic point of view. It concerns the statistical algorithm selection problem which generalizes, among others, the problem of model and bandwidth selection. We study classical procedures, such as penalization or resampling procedures (in particular V-fold cross-validation), which evaluate an algorithm by estimating its risk. We provide, thanks to concentration inequalities, an optimal penalty for selecting a linear estimator and we prove oracle inequalities and adaptative properties for resampling procedures. Moreover, new resampling procedure, based on estimator comparison by the mean of robust tests, is introduced as an alternative to procedures relying on the unbiased risk estimation principle. A second goal of this work is to compare these procedures from a theoretical point of view and to understand the role of V for V-fold penalization. We validate these theoretical results on empirical studies.
Cette thèse s'inscrit dans le cadre de l'estimation d'une densité, considéré du point de vue non-paramétrique et non-asymptotique. Elle traite du problème de la sélection d'une méthode d'estimation à noyau. Celui-ci est une généralisation, entre autre, du problème de la sélection de modèle et de la sélection d'une fenêtre. Nous étudions des procédures classiques, par pénalisation et par rééchantillonnage (en particulier la validation croisée V-fold), qui évaluent la qualité d'une méthode en estimant son risque. Nous proposons, grâce à des inégalités de concentration, une méthode pour calibrer la pénalité de façon optimale pour sélectionner un estimateur linéaire et prouvons des inégalités d'oracle et des propriétés d'adaptation pour ces procédures. De plus, une nouvelle procédure rééchantillonnée, reposant sur la comparaison entre estimateurs par des tests robustes, est proposée comme alternative aux procédures basées sur le principe d'estimation sans biais du risque. Un second objectif est la comparaison de toutes ces procédures du point de vue théorique et l'analyse du rôle du paramètre V pour les pénalités V-fold. Nous validons les résultats théoriques par des études de simulations.
Keywords
Slope heuristics
Adaptative estimation
Hellinger loss
Non-parametric statistics
Density estimation
Estimator selection
Statistical algorithm selection
Linear estimators
V-fold cross-validation
Penalization
T-estimation
Oracle inequalities
Slope heuristics
Slope heuristics
Statistiques non-paramétriques
Estimation de densité
Sélection d'estimateur
Sélection d'une méthode d'estimation
Estimateurs linéaires
Validation croisée V-fold
Pénalisation
T-estimation
Inégalités d'oracle
Heuristique de pente
Estimation adaptative
Perte Hellinger
Statistiques non-paramétriques
Statistiques non-paramétriques
Domains
General Mathematics [math.GM]Origin | Version validated by the jury (STAR) |
---|
Loading...