Entropy-Regularized Optimal Transport for Machine Learning - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

Entropy-Regularized Optimal Transport for Machine Learning

Régularisation Entropique du Transport Optimal pour le Machine Learning

Résumé

This thesis proposes theoretical and numerical contributions to use Entropy-regularized Optimal Transport (EOT) for machine learning. We introduce Sinkhorn Divergences (SD), a class of discrepancies between probability measures based on EOT which interpolates between two other well-known discrepancies: Optimal Transport (OT) and Maximum Mean Discrepancies (MMD). We develop an efficient numerical method to use SD for density fitting tasks, showing that a suitable choice of regularization can improve performance over existing methods. We derive a sample complexity theorem for SD which proves that choosing a large enough regularization parameter allows to break the curse of dimensionality from OT, and recover asymptotic rates similar to MMD. We propose and analyze stochastic optimization solvers for EOT, which yield online methods that can cope with arbitrary measures and are well suited to large scale problems, contrarily to existing discrete batch solvers.
Le Transport Optimal régularisé par l’Entropie (TOE) permet de définir les Divergences de Sinkhorn (DS), une nouvelle classe de distance entre mesures de probabilités basées sur le TOE. Celles-ci permettent d’interpoler entre deux autres dis- tances connues: le Transport Optimal (TO) et l’Ecart Moyen Maxi- mal (EMM). Les DS peuvent être utilisées pour apprendre des modèles probabilistes avec de meilleures performances que les algorithmes existants pour une régularisation adéquate. Ceci est justifié par un théorème sur l’approximation des SD par des échantillons, prouvant qu’une régularisation suffisante per- met de se débarrasser de la malédiction de la dimension du TO, et l’on retrouve à l’infini le taux de convergence des EMM. Enfin, nous présentons de nouveaux algorithmes de résolution pour le TOE basés sur l’optimisation stochastique ‘en-ligne’ qui, contrairement à l’état de l’art, ne se restreignent pas aux mesures discrètes et s’adaptent bien aux problèmes de grande dimension.
Fichier principal
Vignette du fichier
these_aude.pdf (6.02 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-02319318 , version 1 (17-10-2019)

Identifiants

  • HAL Id : tel-02319318 , version 1

Citer

Aude Genevay. Entropy-Regularized Optimal Transport for Machine Learning. Artificial Intelligence [cs.AI]. PSL University, 2019. English. ⟨NNT : ⟩. ⟨tel-02319318⟩
646 Consultations
454 Téléchargements

Partager

Gmail Facebook X LinkedIn More