Deep learning with Lipschitz constraints - TEL - Thèses en ligne
Thèse Année : 2024

Deep learning with Lipschitz constraints

Apprentissage profond avec contraintes Lipschitz

Résumé

This thesis explores the characteristics and applications of Lipschitz networks in machine learning tasks. First, the framework of "optimization as a layer" is presented, showcasing various applications, including the parametrization of Lipschitz-constrained layers. Then, the expressiveness of these networks in classification tasks is investigated, revealing an accuracy/robustness tradeoff controlled by entropic regularization of the loss, accompanied by generalization guarantees. Subsequently, the research delves into the utilization of signed distance functions as a solution to a regularized optimal transport problem, showcasing their efficacy in robust one-class learning and the construction of neural implicit surfaces. After, the thesis demonstrates the adaptability of the back-propagation algorithm to propagate bounds instead of vectors, enabling differentially private training of Lipschitz networks without incurring runtime and memory overhead. Finally, it goes beyond Lipschitz constraints and explores the use of convexity constraint for multivariate quantiles.
Cette thèse explore les caractéristiques et les applications des réseaux Lipschitz dans les tâches d'apprentissage automatique. Tout d'abord, le cadre de "l'optimisation en tant que couche" est présenté, mettant en avant diverses applications, notamment la paramétrisation des couches contraintes Lipschitz. Ensuite, l'expressivité de ces réseaux dans les tâches de classification est étudiée, révélant un compromis précision/robustesse contrôlé par la régularisation entropique de la perte, accompagnée de garanties de généralisation. Par la suite, la recherche se penche sur l'utilisation des fonctions de distance signée comme solution à un problème de transport optimal régularisé, mettant en avant leur efficacité dans l'apprentissage robuste en classe unique et la construction de surfaces implicites neurales. Ensuite, la thèse démontre l'adaptabilité de l'algorithme de rétropropagation pour propager des bornes au lieu de vecteurs, permettant un entraînement confidentiel des réseaux Lipschitz sans entraîner de surcoût en termes de temps d'exécution et de mémoire. Enfin, elle va au-delà des contraintes Lipschitz et explore l'utilisation de contraintes de convexité pour les quantiles multivariés.
Fichier principal
Vignette du fichier
2024TLSES014.pdf (10.16 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04674274 , version 1 (21-08-2024)

Identifiants

  • HAL Id : tel-04674274 , version 1

Citer

Louis Béthune. Deep learning with Lipschitz constraints. Artificial Intelligence [cs.AI]. Université de Toulouse, 2024. English. ⟨NNT : 2024TLSES014⟩. ⟨tel-04674274⟩
16 Consultations
9 Téléchargements

Partager

More