Inertial methods in optimization under growth conditions
Étude de méthodes inertielles en optimisation et leur comportement sous conditions de géométrie
Résumé
This thesis manuscript is devoted to the optimization of composite convex functions in a deterministic framework. In this context, I have focused on the convergence analysis of optimization algorithms under growth assumptions.When it comes to minimizing such functions, the most efficient first-order methods are said to be inertial, since they introduce a notion of momentum. While the introduction of this inertia is generally beneficial, it is necessary to parameterize this type of method properly to obtain a solution quickly and avoid pathological behavior. For example, some so-called Heavy-Ball methods require knowledge of the condition number of the function to be minimized in order to be used.The question this thesis seeks to answer is: which method should be applied given the geometric assumptions verified by F? Since the methods studied are inertial, we can rephrase this problem as follows: how can inertia be controlled when F verifies a growth hypothesis that is stronger than convexity? Several strategies are proposed, based on algorithmic procedures or on the link existing between numerical schemes and dynamical systems.The first part is devoted to restart methods. The work presented here stems from the following observation: when the function to be minimized satisfies a growth hypothesis (e.g. strong convexity), the fastest methods must be calibrated according to the growth parameter (or, equivalently, according to the condition), which can be difficult to estimate. Restart strategies aim to answer the question: how can we take advantage of the growth assumptions of a function when the growth parameter is not known? Two FISTA restart schemes are introduced that ensure a fast exponential decay of the error without requiring the knowledge of some geometry parameters.Secondly, we study an alternative approach to controlling inertia and attenuating oscillatory behavior. This analysis concerns a dynamical system introduced by Attouch, Peypouquet and Redont, which is close to that proposed by Su, Boyd and Candès, and involves a friction term driven by the Hessian of F. The introduction of this friction term dampens trajectory oscillations, and first-order numerical schemes can be derived from this system. We focus on the convergence properties of the trajectories of this system when F satisfies growth conditions. In this context, we show that the introduction of the Hessian term leads to integrability properties on the gradient of the function F that become stronger and stronger as the growth assumptions are strengthened. Since the assumptions considered are related to the Lojasiewicsz inequality, these properties provide guarantees on error decay.The last part is devoted to the assumption of uniqueness of the minimizer in the convergence analysis of inertial methods. In the literature, the strongest convergence results for dynamical systems and numerical schemes when F verifies a growth condition are based, with a few exceptions, on the assumption that F has a unique minimiser. The questions raised in this chapter are: what is the reason for this assumption? Is it possible to obtain fast convergence results without it? We show that this assumption is mainly related to proof techniques and that it is not necessary to obtain fast convergence. In the continuous framework, a geometry assumption on X is proposed to extend several known results. Finally, convergence results are given for V-FISTA and FISTA without the minimiser uniqueness assumption.
Ce manuscrit de thèse est consacré à l'optimisation de fonctions convexes composites dans un cadre déterministe. Dans ce cadre, je me suis concentré sur l'analyse de convergence d'algorithmes d'optimisation sous des hypothèses de croissance.Lorsque l'on s'intéresse à la minimisation de telles fonctions, les méthodes de premier ordre les plus efficaces sont dites inertielles car elles font apparaître une notion d'élan. Si l'introduction de cette inertie est généralement bénéfique, il est nécessaire de bien paramétrer ce type de méthodes pour obtenir une solution rapidement et éviter des comportements pathologiques. Par exemple, certaines méthodes dites Heavy-Ball nécessitent de connaître la valeur du conditionnement de la fonction à minimiser pour être utilisées.La question à laquelle cherche à répondre cette thèse est : quelle méthode appliquer en fonction des hypothèses de géométrie vérifiées par F? Comme les méthodes étudiées sont inertielles, on peut reformuler cette problématique de la manière suivante : comment maîtriser l'inertie lorsque F vérifie une hypothèse de croissance plus forte que la convexité? Plusieurs stratégies sont proposées, basées sur des procédés algorithmiques ou sur le parallèle entre schémas numériques et systèmes dynamiques.Une première partie est consacrée aux méthodes de restart. Les travaux qui y sont présentés font suite au constat suivant : lorsque la fonction à minimiser vérifie une hypothèse de croissance (forte convexité par exemple), les méthodes les plus rapides doivent être calibrées en fonction du paramètre de croissance (ou de manière équivalente en fonction du conditionnement) qui peut être difficile à estimer. Les stratégies de restart visent à répondre à la question : comment profiter des hypothèses de croissance d'une fonction lorsque le paramètre de croissance n'est pas connu? Je propose deux schémas de restart de FISTA permettant d'obtenir des garanties théoriques de convergence rapide en s'affranchissant de la connaissance de certains paramètres de géométrie.Dans un deuxième temps, on étudie un moyen alternatif permettant de maîtriser l'inertie et atténuer les comportements oscillatoires. Cette analyse porte sur un système dynamique introduit par Attouch, Peypouquet et Redont qui est proche de celui proposé par Su, Boyd et Candès et fait intervenir un terme de friction lié à la hessienne de F. L'introduction de ce terme de friction permet d'atténuer les oscillations des trajectoires et des schémas numériques de premier ordre peuvent être dérivés de ce système. On se concentre ici sur les propriétés de convergence des trajectoires de ce système lorsque F vérifie des hypothèses de croissance. Dans ce contexte, on montre que l'introduction du terme lié à la hessienne permet d'obtenir des propriétés d'intégrabilité sur le gradient de la fonction F qui sont de plus en plus fortes à mesure que les hypothèses de croissance sont renforcées. Comme les hypothèses considérées sont liées à l'inégalité de Lojasiewicsz, ces propriétés donnent des garanties sur la décroissance de l'erreur.La dernière partie est dédiée à l'hypothèse d'unicité du minimiseur dans l'analyse de convergence de méthodes inertielles. Dans la littérature, les résultats de convergence les plus forts pour des systèmes dynamiques et des schémas numériques lorsque F vérifie une condition de croissance s'appuient, sauf exception, sur l'hypothèse que F a un unique minimiseur. Les questions posées dans ce chapitre sont : à quoi est due cette hypothèse? Est-il possible d'obtenir des résultats de convergence rapide en s'en affranchissant? On montre que cette hypothèse est principalement liée aux techniques de preuves et qu'elle n'est pas nécessaire à l'obtention de vitesses rapides. Dans le cadre continu, une hypothèse de géométrie sur X est proposée pour étendre plusieurs résultats connus. On donne enfin des résultats de convergence pour V-FISTA et FISTA sans hypothèse d'unicité du minimiseur.
| Origine | Version validée par le jury (STAR) |
|---|