When Random Forests Meet Neural Networks : A Finite-Sample Analysis - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

When Random Forests Meet Neural Networks : A Finite-Sample Analysis

Quand les forêts aléatoires rencontrent les réseaux de neurones : une analyse à échantillon fini

Résumé

In essence, this Ph.D. strives to fathom the crossroads of tree-based methods and modern neural architectures, exploring potential synergies, benefits, and theoretical underpinnings from a statistical perspective. The theoretical setting is generally that of non-parametric regression with finite samples. Two pieces of work (Chapters 2 and 3) involve the Deep Forest algorithm (DF, Zhou et al. 2017), which stacks Random Forests (RF) in a Neural Network (NN) fashion. We theoretically analyse the benefit of stacking trees in a simplified DF architecture (Chapter 2), while numerically we use pre-trained DF, among other tree-based methods, to initialize NN training and thereby boost their performances (Chapter 3). In a further development, we examine the behaviour of RF algorithms in the interpolation regime, thus extending the study of interpolating estimators (such as neural networks and kernel methods) to random forests. Rates of convergence are established for interpolating median RF, and the influence of interpolation on the prediction performances is also measured through the volume of the interpolation zone, characterized for interpolating Breiman forests (Chapter 4). Finally, we present an ongoing implementation work consisting in training neural networks with different objectives inspired from the PAC-Bayes framework in order to reach faster optimisation and better generalisation performances.
En substance, ce doctorat vise à explorer les intersections entre des méthodes basées sur des arbres de décisions et des architectures neuronales, recherchant les synergies potentielles, les avantages et les fondements théoriques d'un point de vue statistique. Le cadre théorique est généralement celui de la régression non paramétrique à échantillons finis. Deux travaux (Chapitres 2 et 3) se concentrent sur l'algorithme Deep Forest (DF, Zhou et al. 2017), qui superpose des Random Forests (RF) à la manière d'un réseau neuronal (NN). Dans un premier temps nous analysons théoriquement l'avantage d'empiler des arbres dans une architecture DF simplifiée (Chapitre 2), et dans un second temps, nous utilisons une DF ainsi que d'autres méthodes d'arbres pré-entraînées, afin d'initialiser un NN et ainsi améliorer ses performances (Chapitre 3). Dans un développement ultérieur, nous examinons le comportement des RF dans le régime d'interpolation, élargissant ainsi l'étude des estimateurs interpolants (tels que les réseaux neuronaux et les méthodes de noyau) aux forêts aléatoires. Les taux de convergence sont établis pour l'interpolation médiane RF, et l'influence de l'interpolation sur les performances de prédiction est également mesurée par le volume de la zone d'interpolation, caractérisée pour les forêts de Breiman (Chapitre 4). Enfin, nous présentons un travail en cours de mise en oeuvre consistant à entraîner des réseaux neuronaux avec différents objectifs inspirés du PAC-Bayes afin d'atteindre une optimisation plus rapide et de meilleures performances de généralisation.
Fichier principal
Vignette du fichier
ARNOULD_Ludovic_these_2023.pdf (12.49 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04401476 , version 1 (17-01-2024)

Identifiants

  • HAL Id : tel-04401476 , version 1

Citer

Ludovic Arnould. When Random Forests Meet Neural Networks : A Finite-Sample Analysis. Statistics [math.ST]. Sorbonne Université, 2023. English. ⟨NNT : 2023SORUS453⟩. ⟨tel-04401476⟩
91 Consultations
41 Téléchargements

Partager

Gmail Facebook X LinkedIn More