Analysis of inertial dynamics and associated algorithms for first-order optimization
Analyse des dynamiques inertielles et algorithmes associés pour l’optimisation du premier ordre
Résumé
This thesis is divided into two main parts. The first one is devoted to the study of a class of first-order algorithms aiming at solving structured monotone equations involving the sum of two operators : a potential operator ∇f (the gradient of a differentiable convex function f ) and a nonpotential one B (monotone and cocoercive). The well-posedness and the asymptotic behavior of the solution trajectories generated by the second-order inertial dynamics involving these two operators are analyzed in detail. The temporal discretization of these dynamics provides fully split proximal gradient algorithms. Their convergence properties are proved using Lyapunov analysis. The second part is dedicated to the study and extension of the algorithms introduced by Nesterov in the case where f is relatively smooth. A method, using the Bregman distance of the function to be minimized, is proposed. The convergence analysis of the associated algorithms is also studied and some numerical simulations are proposed to illustrate the theoretical part.
Cette thèse est divisée en deux grandes parties. La première est consacrée à l’étude d’une classe d’algorithmes du premier ordre visant à résoudre des équations monotones structurées impliquant la somme de deux opérateurs : un opérateur potentiel ∇f (le gradient d’une fonction convexe différentiable f ) et un autre non potentiel B (monotone et cocoercif). Le caractère bien posé et le comportement asymptotique des trajectoires des solution,s générées par la dynamique inertielle du second ordre impliquant ces deux opérateurs, sont analysés en détail. La discrétisation temporelle de ces dynamiques fournit des algorithmes de gradient proximal de type splitting ou décomposition. Leurs propriétés de convergence sont prouvées en utilisant l’analyse de Lyapunov. La seconde partie est dédiée à l’étude et à l’extension des algorithmes introduits par Nesterov dans le cas où f est relativement lisse. Une méthode, utilisant la distance de Bregman de la fonction à minimiser, est proposée. L’analyse de convergence des algorithmes associés est aussi étudiée et quelques simulations numériques sont proposées pour illustrer la partie théorique.
Origine | Version validée par le jury (STAR) |
---|