Random Forests: elements of theory, variable selection and applications - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2010

Random Forests: elements of theory, variable selection and applications

Forêts aléatoires : aspects théoriques, sélection de variables et applications

(1)
1
Robin Genuer

Résumé

This thesis deals with statistical learning and is dedicated to the random forests method, which has been proposed by Breiman in 2001. Random forests are a non-parametric statistical method, which is very powerful in many applications, for regression problems as well as for supervised classification ones. They also succeed to handle very high dimensional data, where the number of variables largely exceeds the number of observations. In a first part, we develop a variable selection procedure, based on the variable importance index computed by random forests. This importance index allows to highlight relevant variables from useless ones. The proposed procedure consists to automatically select a variables set for interpretation or prediction purpose. The second part shows the ability of the variable selection procedure to deal with very different problems. The first application is a classification problem in very high dimension for neuroimaging data, while the second one covers genomic data which constitute a regression problem in smaller dimension. A last theoretical part, establishes some risk bounds for a simplified version of random forests. In the context of regression problems with a one-dimensional predictor space, we prove that both tree and forest estimators achieved the minimax rate of convergence. In addition we prove that forests improve accuracy by reducing the estimator variance by a factor of three fourths.
Cette thèse s'inscrit dans le cadre de l'apprentissage statistique et est consacrée à l'étude de la méthode des forêts aléatoires, introduite par Breiman en 2001. Les forêts aléatoires sont une méthode statistique non paramétrique, qui s'avère être très performante dans de nombreuses applications, aussi bien pour des problèmes de régression que de classification supervisée. Elles présentent également un bon comportement sur des données de très grande dimension, pour lesquelles le nombre de variables dépasse largement le nombre d'observations. Dans une première partie, nous développons une procédure de sélection de variables, basée sur l'indice d'importance des variables calculée par les forêts aléatoires. Cet indice d'importance permet de distinguer les variables pertinentes des variables inutiles. La procédure consiste alors à sélectionner automatiquement un sous-ensemble de variables dans un but d'interprétation ou de prédiction. La deuxième partie illustre la capacité de cette procédure de sélection de variables à être performante pour des problèmes très différents. La première application est un problème de classification en très grande dimension sur des données de neuroimagerie, alors que la seconde traite des données génomiques qui constituent un problème de régression en plus petite dimension. Une dernière partie, théorique, établit des bornes de risque pour une version simplifiée des forêts aléatoires. Dans un contexte de régression, avec une seule variable explicative, nous montrons d'une part que les estimateurs associés à un arbre et à une forêt atteignent tous deux la vitesse minimax de convergence, et d'autre part que la forêt apporte une amélioration en réduisant la variance de l'estimateur d'un facteur de trois quarts.
Fichier principal
Vignette du fichier
these_Robin.Genuer.pdf (2.61 Mo) Télécharger le fichier
Vignette du fichier
soutenance_Robin.Genuer.pdf (2.1 Mo) Télécharger le fichier
Format : Autre

Dates et versions

tel-00550989 , version 1 (01-01-2011)

Identifiants

  • HAL Id : tel-00550989 , version 1

Citer

Robin Genuer. Forêts aléatoires : aspects théoriques, sélection de variables et applications. Mathématiques [math]. Université Paris Sud - Paris XI, 2010. Français. ⟨NNT : ⟩. ⟨tel-00550989⟩
2068 Consultations
7248 Téléchargements

Partager

Gmail Facebook Twitter LinkedIn More