Proximal optimization with automatic dimension reduction for large-scale learning - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Proximal optimization with automatic dimension reduction for large-scale learning

Optimisation proximale avec réduction automatique de dimension

Résumé

In this thesis, we develop a framework to reduce the dimensionality of composite optimization problems with sparsity inducing regularizers. Based on the identification property of proximal methods, we first develop a ``sketch-and-project'' method that uses projections based on the structure of the correct point. This method allows to work with random low-dimensional subspaces instead of considering the full space in the cases when the final solution is sparse. Second, we place ourselves in the context of the delay-tolerant asynchronous proximal methods and use our dimension reduction technique to decrease the total size of communications. However, this technique is proven to converge only for well-conditioned problems both in theory in practice.Thus, we investigate wrapping it up into a proximal reconditioning framework. This leads to a theoretically backed algorithm that is guaranteed to cost less in terms of communications compared with a non-sparsified version; we show in practice that it implies faster runtime convergence when the sparsity of the problem is sufficiently big.
Dans cette thèse, nous proposons des algorithmes proximaux, avec réduction de dimension automatique, pour des problèmes d’optimisation avec solutions parcimonieuses. Dans un premier temps, nous proposons une méthode générale de réduction de dimension, exploitant la propriété d’identification proximale, par des projections adaptées à la structure de l’itéré courant. Dans le cas parcimonieux, cet algorithme permet de travailler dans des sous-espaces aléatoires de petites dimensions plutôt que dans l’espace entier, possiblement de très grande dimension. Dans un deuxième temps, nous nous plaçons dans un cadre d’optimisation distribuée asynchrone et utilisons la méthode précédente pour réduire la taille des communications entre machines. Nous montrons tout d’abord, que l’application directe de notre méthode de réduction dimension dans ce cadre fonctionne si le problème est bien conditionné. Pour attaquer les problèmes généraux, nous proposons ensuite un reconditionnement proximal donnant ainsi un algorithme avec garanties théorétiques de convergence et de réduction de communications. Des experiences numériques montrent un gain important pour des problèmes classiques fortement parcimonieux.
Fichier principal
Vignette du fichier
GRISHCHENKO_2020_archivage.pdf (2.64 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03132440 , version 1 (05-02-2021)

Identifiants

  • HAL Id : tel-03132440 , version 1

Citer

Dmitry Grishchenko. Proximal optimization with automatic dimension reduction for large-scale learning. Distributed, Parallel, and Cluster Computing [cs.DC]. Université Grenoble Alpes [2020-..], 2020. English. ⟨NNT : 2020GRALM055⟩. ⟨tel-03132440⟩
158 Consultations
78 Téléchargements

Partager

Gmail Facebook X LinkedIn More