Learning with Reproducing Kernel Hilbert spaces: Stochastic Gradient Descent and Laplacian Estimation - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Learning with Reproducing Kernel Hilbert spaces: Stochastic Gradient Descent and Laplacian Estimation

Apprentissage par Noyaux Reproduisants : Descente de Gradient Stochastique et Estimation de Laplacien

Résumé

Machine Learning has received a lot of attention during the last two decades both from industry for data-driven decision problems and from the scientific community in general. This recent attention is certainly due to its ability to efficiently solve a wide class of high-dimensional problems with fast and easy- to-implement algorithms. What is the type of problems machine learning tackles ? Generally speaking, answering this question requires to divide it into two distinct topics: supervised and unsupervised learning. The first one aims to infer relationships between a phenomenon one seeks to predict and “explanatory” variables leveraging supervised information. On the contrary, the second one does not need any supervision and aims at extracting some structure, information or significant features of the variables. These two main directions find an echo in this thesis. On the one hand, the supervised learning part theoretically studies the cornerstone of all optimization techniques for these problems: stochastic gradient methods. For their versatility, they are the workhorses of the recent success of ML. However, despite their simplicity, their efficiency is not yet fully understood. Establishing some properties of this algorithm is one of the two important questions of this thesis. On the other hand, the part concerned with unsupervised learning is more problem-specific: we design an algorithm to find reduced order models in physically-based dynamics addressing an crucial question in computational statistical physics (also called molecular dynamics).
L’apprentissage automatique a reçu beaucoup d’attention au cours des deux dernières décennies, à la fois de la part de l’industrie pour des problèmes de décision basés sur des données et de la communauté scientifique en général. Cette attention récente est certainement due à sa capacité à résoudre efficacement une large classe de problèmes en grande dimension grâce à des algorithmes rapides et faciles à mettre en oeuvre. Plus spécifiquement, quel est le type de problèmes abordés par l’apprentissage automatique ? D’une manière générale, répondre à cette question nécessite de le diviser en deux thèmes distincts: l’apprentissage supervisé et l’apprentissage non supervisé. Le premier vise à déduire des relations entre un phénomène que l’on cherche à prédire et des variables “explicatives” exploitant des informations qui ont fait l’objet d’une supervision. Au contraire, la seconde ne nécessite aucune supervision et son but principal est de parvenir à extraire une structure, des informations ou des caractéristiques importantes relative aux données. Ces deux axes principaux trouvent un écho dans cette thèse. Dans un premier temps, la partie concernant l’apprentissage supervisé étudie théoriquement la pierre angulaire de toutes les techniques d’optimisation liées à ces problèmes: les méthodes de gradient stochastique. Grâce à leur polyvalence, elles participent largement au récent succès de l’apprentissage. Cependant, malgré leur simplicité, leur efficacité n’est pas encore pleinement comprise. L’étude de certaines propriétés de cet algorithme est l’une des deux questions importantes de cette thèse. Dand un second temps, la partie consacrée à l’apprentissage non supervisé est liée à un problème plus spécifique : nous concevons dans cette étude un algorithme pour trouver des modèles réduits pour des dynamiques empruntées à la physique. Cette partie aborde une question cruciale en physique statistique computationnelle (également appelée dynamique moléculaire). Même si les deux problèmes sont de nature différente, ces deux directions partagent une caractéristique commune : elles tirent parti de l’utilisation d’espaces à noyau reproduisant, qui possèdent deux propriétés essentielles : (i) ils s’adaptent naturellement au cadre stochastique tout en préservant une certaine efficacité numérique, (ii) ils montrent une grande expressivité en tant que classe de fonctions de test.
Fichier principal
Vignette du fichier
These.pdf (4.78 Mo) Télécharger le fichier
MNIST.pdf (15.34 Ko) Télécharger le fichier
SVM_margin.png (274.56 Ko) Télécharger le fichier
a_error.pdf (24.96 Ko) Télécharger le fichier
a_loss.pdf (23.92 Ko) Télécharger le fichier
averaged_SGD_markov.png (490.17 Ko) Télécharger le fichier
comparison.pdf (17.64 Ko) Télécharger le fichier
continuous_time_SGD.pdf (158.77 Ko) Télécharger le fichier
cycling_1_5.pdf (17.28 Ko) Télécharger le fichier
cycling_2.pdf (17.17 Ko) Télécharger le fichier
cycling_2_5.pdf (17.16 Ko) Télécharger le fichier
cycling_3.pdf (17.19 Ko) Télécharger le fichier
densities.pdf (16.13 Ko) Télécharger le fichier
early_stopping.png (21.17 Ko) Télécharger le fichier
easy_hard_problems.pdf (243.47 Ko) Télécharger le fichier
error_alpha.pdf (21.5 Ko) Télécharger le fichier
error_comparison.pdf (25.67 Ko) Télécharger le fichier
example.pdf (182.97 Ko) Télécharger le fichier
feature_maps_RKHS.png (144.24 Ko) Télécharger le fichier
kappas.pdf (14.96 Ko) Télécharger le fichier
kernel_PCA.png (181.65 Ko) Télécharger le fichier
lipschitz.png (345.39 Ko) Télécharger le fichier
loss_functions_intro.png (32.73 Ko) Télécharger le fichier
metastability_intro.png (822.09 Ko) Télécharger le fichier
mixture.pdf (12.48 Ko) Télécharger le fichier
mixture_optim.pdf (12.56 Ko) Télécharger le fichier
mixture_samples.pdf (13.08 Ko) Télécharger le fichier
mixture_whiten_samples.pdf (12.46 Ko) Télécharger le fichier
nus.pdf (5.87 Ko) Télécharger le fichier
overfitting_1.png (312.93 Ko) Télécharger le fichier
overfitting_2.png (313.82 Ko) Télécharger le fichier
overfitting_3.png (367.65 Ko) Télécharger le fichier
overfitting_4.png (385.85 Ko) Télécharger le fichier
poinca_gaussian_1.pdf (14.42 Ko) Télécharger le fichier
poinca_gaussian_2.pdf (6.48 Ko) Télécharger le fichier
rates.pdf (359.45 Ko) Télécharger le fichier
with_replacement_1_5.pdf (16.62 Ko) Télécharger le fichier
with_replacement_2.pdf (17.22 Ko) Télécharger le fichier
with_replacement_2_5.pdf (17.23 Ko) Télécharger le fichier
with_replacement_3.pdf (17.25 Ko) Télécharger le fichier
without_replacement_1_5.pdf (17.26 Ko) Télécharger le fichier
without_replacement_2.pdf (17.21 Ko) Télécharger le fichier
without_replacement_2_5.pdf (17.2 Ko) Télécharger le fichier
without_replacement_3.pdf (17.27 Ko) Télécharger le fichier
zbis_a_error.pdf (24.88 Ko) Télécharger le fichier
zbis_a_loss.pdf (23.73 Ko) Télécharger le fichier
zbis_densities.pdf (18.53 Ko) Télécharger le fichier
zbis_error_alpha.pdf (21.42 Ko) Télécharger le fichier
zbis_error_comparison.pdf (25.58 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03621496 , version 1 (08-03-2021)
tel-03621496 , version 2 (28-03-2022)

Identifiants

  • HAL Id : tel-03621496 , version 1

Citer

Loucas Pillaud-Vivien. Learning with Reproducing Kernel Hilbert spaces: Stochastic Gradient Descent and Laplacian Estimation. Machine Learning [stat.ML]. Paris, Science et Lettres; Inria de Paris; Ecole Normale Supérieure, 2020. English. ⟨NNT : ⟩. ⟨tel-03621496v1⟩
278 Consultations
540 Téléchargements

Partager

Gmail Facebook X LinkedIn More