High-dimensional mixture regression models, application to functional data
Modèles de mélange pour la régression en grande dimension, application aux données fonctionnelles.
Résumé
Finite mixture regression models are useful for modeling the relationship between a response and
predictors, arising from different subpopulations. In this thesis, we focus on high-dimensional
predictors and a high-dimensional response.
First of all, we provide an `1-oracle inequality satisfied by the Lasso estimator. We focus on this
estimator for its `1-regularization properties rather than for the variable selection procedure.
We also propose two procedures to deal with this issue. The first procedure leads to estimate
the unknown conditional mixture density by a maximum likelihood estimator, restricted to the
relevant variables selected by an `1-penalized maximum likelihood estimator.
The second procedure considers jointly predictor selection and rank reduction for obtaining
lower-dimensional approximations of parameters matrices.
For each procedure, we get an oracle inequality, which derives the penalty shape of the criterion,
depending on the complexity of the random model collection. We extend these procedures to
the functional case, where predictors and responses are functions. For this purpose, we use
a wavelet-based approach. For each situation, we provide algorithms, apply and evaluate our
methods both on simulations and real datasets. In particular, we illustrate the first procedure
on an electricity load consumption dataset.
Les modèles de mélange pour la régression sont utilisés pour modéliser la relation entre la réponse
et les prédicteurs, pour des données issues de différentes sous-populations. Dans cette thèse, on
étudie des prédicteurs de grande dimension et une réponse de grande dimension.
Tout d’abord, on obtient une inégalité oracle `1 satisfaite par l’estimateur du Lasso. On
s’intéresse à cet estimateur pour ses propriétés de régularisation `1.
On propose aussi deux procédures pour pallier ce problème de classification en grande dimension.
La première procédure utilise l’estimateur du maximum de vraisemblance pour estimer la densité
conditionnelle inconnue, en se restreignant aux variables actives sélectionnées par un estimateur
de type Lasso.
La seconde procédure considère la sélection de variables et la réduction de rang pour diminuer
la dimension.
Pour chaque procédure, on obtient une inégalité oracle, qui explicite la pénalité nécessaire pour
sélectionner un modèle proche de l’oracle.
On étend ces procédures au cas des données fonctionnelles, où les prédicteurs et la réponse
peuvent être des fonctions. Dans ce but, on utilise une approche par ondelettes. Pour chaque
procédure, on fournit des algorithmes, et on applique et évalue nos méthodes sur des simulations
et des données réelles. En particulier, on illustre la première méthode par des données de
consommation électrique
Origine : Fichiers produits par l'(les) auteur(s)
Loading...