Predictive models by consensual aggregation and applications
Modèles prédictifs par agrégation consensuelle et applications
Résumé
Three important projects are studied in this thesis. The first project is "KFC : a clusterwise supervised learning procedure based on aggregation of distances". It is a three-step procedure for constructing prediction in supervised statistical learning problems. KFC stands for K-means/Fit/Combining. Several performances of the method are illustrated in this part on several synthetic and real energy data. The second project is "A kernel-based consensual aggregation method for regression", which is inspired by the numerical experiments of the previous project. The method is a generalization of consensual aggregation method introduced by Biau et al. (2016) to regular kernel-based setting. The consistency inheritance property of the method is derived, and is confirmed through many numerical experiments on simulated and real datasets. Lastly, the third project is a study of consensual aggregation method on randomly projected high-dimensional features of predictions. The aggregation scheme is composed of two steps: the high-dimensional features of predictions are randomly projected into a small subspace in the first step, then the aggregation method is applied on the projected features in the second step. We numerically show that the consensual aggregation method upholds its performance on very large and highly correlated features of predictions. Moreover, we theoretically show that the performance of the method is almost preserved in much smaller subspaces of projection, with high probability. This shows the robustness of the method in a sense that several types of predictive models can be plainly constructed and directly combined without model selection or cross-validation technique.
Trois projets importants sont étudiés dans cette thèse. Le premier projet est "KFC : Une procédure d'apprentissage supervisé par cluster basée sur l'agrégation des distances". C'est une méthodologie en trois étapes pour construire des prédictions dans les problèmes d'apprentissage supervisé. KFC signifie K-means/Fit/Combining. Plusieurs performances numériques de la méthode sont illustrées sur des jeux de données synthétiques et énergétiques réelles. Le deuxième projet est une méthode d'agrégation consensuelle à noyau pour la régression, qui s'inspire des expériences numériques du projet précédent. La méthode est une agrégation consensuelle généralisée de Biau et al. (2016) sur une fonction noyau régulière. Elle agrège un nombre d'estimateurs de régression. La propriété d'héritage de consistance de la méthode est prouvée, et confirmée par plusieurs expériences numériques sur des jeux de données simulés et réels. Le dernier projet est l'étude de l'agrégation consensuelle basée sur le noyau en grandes dimensions des vecteurs des prédictions. Le schéma d'agrégation est composé de deux étapes : les prédictions de grande dimension sont projetées de manière aléatoire dans un sous-espace plus petit dans la première étape, et la méthode d'agrégation est appliquée aux vecteurs des prédictions projetées dans la deuxième étape. Nous montrons numériquement que l'agrégation consensuelle étudiée dans le projet précédent maintient ses performances avec un grand nombre d'estimateurs, fortement corrélées. De plus, nous montrons théoriquement que les performances du schéma d'agrégation complet dans des sous-espaces de projection beaucoup plus petits, avec une grande probabilité. Elle montre la robustesse de la méthode dans le sens où plusieurs types de modèles prédictifs peuvent être simplement construits et directement combinés sans aucune technique de sélection de modèle ou de validation croisée.
| Origine | Version validée par le jury (STAR) |
|---|