Deep learning and optimal transport : learning from one another
Apprentissage profond et transport optimal : apprendre l'un de l'autre
Résumé
Deep learning models are artificial neural networks and they have arisen as the current most competitive method to make data-driven decisions. In classification, these networks have a more complex representation of data and thus they make more complex predictions. However, deep learning's recent successes are also due to the development of some mathematical fields: this thesis is about studying the different interactions of deep learning with one of these mathematical fields called Optimal Transport (OT). To measure the distance between probability distributions, one can rely on the OT theory. It defines a measure through the minimal displacement cost of a distribution to another. Its strength is to use the space geometry with a given ground cost on the data space. Several machine and deep learning methods are built upon this theory. This thesis proposes to explore two faces of the interaction between OT and deep learning. We will first focus on how OT can define meaningful cost functions for deep neural networks. We will focus on how to define an OT based regularization for learning with noisy labels and how we can use OT to generate misclassified data for a pre-trained classifier. We will then explore what can be learnt about OT from deep learning applications, with a focus on the minibatch approximation of OT. We will answer what are the gains and the downsides of the minibatch formulation in theory and in practice.
Les modèles d'apprentissage profond sont des réseaux de neurones artificiels et sont très compétitifs dans le cadre de problèmes décisionnels. En classification, ces réseaux permettent par exemple une représentation plus complexe des données et donc des décisions plus pertinentes elles aussi. Cependant, l'essor des réseaux de neurones est aussi lié au développement de plusieurs champs des mathématiques : cette thèse porte sur l'interaction des réseaux de neurones avec l'un de ces champs appelé Transport Optimal (TO). Le TO est en particulier adapté à la mesure de distance entre distributions de probabilité, en calculant le coût minimal pour déplacer une distribution vers une autre. Sa force consiste en l'utilisation de la géométrie des espaces de probabilité à travers différentes fonctions de coût possibles. Plusieurs modèles d'apprentissage profond se basent sur le TO. Cette thèse explore les deux faces de l'interaction entre transport optimal et apprentissage profond. D'abord, nous travaillerons sur comment le TO peut définir des fonctions de coût pertinentes pour les réseaux de neurones. Nous nous concentrerons sur la définition d'une régularisation basée sur le TO pour l'apprentissage en présence de labels corrompus et sur l'utilisation du TO pour la génération de données mal classifiées pour un réseau pré-entrainé. Nous étudierons ensuite le TO au travers de son utilisation dans l'apprentissage profond avec un focus particulier sur l'utilisation de sous lots. Nous analyserons alors les gains et pertes tant théoriques que pratiques de cette méthode.
| Origine | Version validée par le jury (STAR) |
|---|