Variance function estimation in regression and its applications
Estimation de la fonction de variance en régression et ses applications
Résumé
This thesis deals with the problem of estimating the variance function in the heteroscedastic regression model. The first part is devoted to the estimation of the variance function through classical aggregation procedures. More precisely, we are interested in the estimation of the variance function by model selection (MS) and convex aggregation (C). The goal of the procedure MS is to select the best estimator among a set of predictors, that of C consists in selecting the best convex combination among the predictors. The selected predictors are then called MS and C-estimators respectively. The construction of the MS-estimator and C-estimator is based on a two-step procedure. In the first step, from a first sample, we construct estimators of the variance function by the residual-based method. In the second step, we aggregate them using a second sample. We establish the consistency of MS-estimator and C-estimator with respect to the L2-risk and illustrate its numerical performances on simulations. The second part is devoted to the applications where the variance function plays a crucial role. It is split into two chapters. The Chapter 2 is devoted to the study of the regression problem where we are allowed to abstain from predicting. We focus on the case where the rejection rate is fixed and derive the optimal rule which relies on thresholding the conditional variance function. We provide a semi-supervised estimation procedure of the optimal rule involving two datasets: a first labeled dataset is used to estimate both regression function and conditional variance function while a second unlabeled dataset is exploited to calibrate the desired rejection rate. The resulting predictor with reject option is shown to be almost as good as the optimal predictor with reject option both in terms of risk and rejection rate. Furthermore, we apply our approach with the k-nearest neighbor algorithm (k-NN) and establish rates of convergence for the resulting kNN predictor. Finally, a numerical study is performed to illustrate the interest in using the proposed procedure.The Chapter 3 focuses on the construction of a prediction interval in the gaussian heteroscedastic model. The optimal interval is based on thresholding the conditional density of the Gaussian distribution. The construction of this interval is based on a semi-supervised estimation procedure in two steps (as in Chapter 2. In the first step, from the first sample of labeled dataset, we estimate the conditional density using the plug-in rule. More specifically, the conditional density estimator is based on the estimators of the regression function and the variance function. In the second step, we calibrate the threshold using a second sample of unlabeled dataset. The constructed confidence interval offers guarantees of consistency and good numerical performance. Moreover, we establish convergence speeds for the confidence interval estimator based on the kNN algorithm
Cette thèse porte sur le problème d’estimation de la fonction de variance dans le modèle de régression hétéroscédastique. La première partie est consacrée à l’estimation de la fonction de variance à travers les procédures d’agrégation classiques. Plus précisément, nous nous intéressons à l’estimation de la fonction de variance par agrégation de type sélection modèle (MS) et convexe (C). Le but de la procédure MS est de sélectionner le meilleur estimateur parmi un ensemble de prédicteurs, celui de C consiste à sélectionner la meilleure combinaison convexe parmi les prédicteurs. Les prédicteurs sélectionnés sont alors appelés MS et C-estimateurs respectivement. La construction de MS et C-estimateurs repose sur une procédure en deux étapes. Dans une première étape, à partir d’un premier échantillon, nous construisons des estimateurs de la fonction de variance par la méthode basée sur les erreurs résiduelles. Dans une deuxième étape, nous les agrégeons à l’aide d’un deuxième échantillon. Nous établissons la consistance de MS-estimateur et de C-estimateur vis-à-vis du risque L2 et illustrons ses performances numériques sur simulations. La deuxième partie est dédiée à des applications où la fonction de variance joue un rôle crucial. Elle est divisée en deux chapitres. Le chapitre 2 est consacré à l'étude du problème de la régression où l’on est autorisé à s’abstenir de prédire. Nous nous concentrons sur le cas où le taux de rejet est fixe et dérivons la règle optimale qui repose sur le seuillage de la fonction de variance conditionnelle. Nous fournissons une procédure d’estimation semi-supervisée de la règle optimale impliquant deux ensembles de données : un premier ensemble de données étiquetées est utilisé pour estimer à la fois la fonction de régression et la fonction de variance conditionnelle ; un deuxième ensemble de données non étiquetées est exploité pour calibrer le taux de rejet à celui souhaité. Le prédicteur avec option rejet résultant s’avère presque aussi bon que le prédicteur optimal avec l’option rejet, à la fois en termes de risque et de taux de rejet. En outre, nous appliquons notre approche avec l’algorithme des K-plus proches voisins (K-PPV) et établissons des vitesses de convergence pour le prédicteur K-PPV avec option rejet résultant. Enfin, une étude numérique est réalisée pour illustrer l’intérêt de l’utilisation de la procédure proposée. Le chapitre 3 s’intéresse à la construction d'un intervalle de prédiction dans le modèle hétéroscédastique gaussien. L’intervalle optimal repose sur le seuillage de la densité conditionnelle de la loi gaussienne. La construction de cet intervalle repose sur une procédure d’estimation semi-supervisée en deux étapes (comme dans le Chapitre 2). Dans une première étape, à partir d’un premier échantillon de données étiquetées, nous estimons la densité conditionnelle en utilisant la règle plug-in. Plus précisément, l'estimateur de la densité conditionnelle est basé sur les estimateurs de la fonction de régression et de la fonction de variance. Dans une deuxième étape, nous calibrons le seuil à l’aide d’un deuxième échantillon de données non étiquetées. L’intervalle de prédiction construit offre des garanties de consistance et de bonnes performances numérique. De plus, nous établissons des vitesses de convergence pour l'estimateur de l'intervalle de prédiction basé sur l'algorithme des K-PPV
| Origine | Version validée par le jury (STAR) |
|---|