Descent dynamical systems and algorithms for tame optimization and multi-objective problems. - Archive ouverte HAL Access content directly
Theses Year : 2015

Descent dynamical systems and algorithms for tame optimization and multi-objective problems.

Systèmes dynamiques de descente pour l'optimisation modérée et les problèmes multi-objectif.

(1, 2)
1
2

Abstract

In a first part, we focus on gradient dynamical systems governed by nonsmooth but also nonconvex functions, satisfying the so-called Kurdyka- Lojasiewicz inequality. After obtaining preliminary results for a continuous steepest descent dynamic, we study a general descent algorithm. We prove, under a compactness assumption, that any sequence generated by this general scheme converges to a critical point of the function to be minimized. We also obtain new convergence rates both for the values and the iterates. The analysis covers alternating versions of the forward-backward method, with variable metric and relative errors. As an example, a nonsmooth and nonconvex version of the Levenberg-Marquardt algorithm is detailed. Applications to nonconvex feasibility problems, and to sparse inverse problems are discussed. In a second part, the thesis explores descent dynamics associated to constrained vector optimization problems. For this, we adapt the classic steepest descent dynamic to functions with values in a vector space ordered by a closed convex cone with nonempty interior. It can be seen as the continuous analogue of various descent algorithms developed in the last years. We have a particular interest for multi-objective decision problems, for which the dynamic make decrease all the objective functions along time. We prove the existence of trajectories for this continuous dynamic, and show their convergence to weak effcient points. Then, we explore an inertial dynamic for multi-objective problems, with the aim to provide fast methods converging to Pareto points.
Dans une première partie, nous nous intéressons aux systèmes dynamiques gradients gouvernés par des fonctions non lisses, mais aussi non convexes, satisfaisant l'inégalité de Kurdyka-Lojasiewicz. Après avoir obtenu quelques résultats préliminaires pour la dynamique de la plus grande pente continue, nous étudions un algorithme de descente général. Nous prouvons, sous une hypothèse de compacité, que tout suite générée par ce schéma général converge vers un point critique de la fonction à minimiser. Nous obtenons aussi de nouveaux résultats sur la vitesse de convergence, tant pour les valeurs que pour les itérés. Ce schéma général couvre en particulier des versions parallélisées de la méthode forward-backward, autorisant une métrique variable et des erreurs relatives. Cela nous permet par exemple de proposer une version non convexe non lisse de l'algorithme Levenberg-Marquardt. Enfin, nous proposons quelques applications de ces algorithmes aux problèmes de faisabilité, et aux problèmes inverses parcimonieux. Dans une seconde partie, cette thèse développe une dynamique de descente associée à des problèmes d'optimisation vectoriels sous contrainte. Pour cela, nous adaptons la dynamique de la plus grande pente usuelle aux fonctions à valeurs dans un espace ordonné par un cône convexe fermé d'intérieur non vide. Cette dynamique peut être vue comme l'analogue continu de nombreux algorithmes développés ces dernières années. Nous avons un intérêt particulier pour les problèmes de décision multi-objectifs, pour lesquels cette dynamique de descente fait décroitre toutes les fonctions objectif au cours du temps. Nous prouvons l'existence de trajectoires pour cette dynamique continue, ainsi que leur convergence vers des points faiblement efficients. Finalement, nous explorons une nouvelle dynamique inertielle pour les problèmes multi-objectif, avec l'ambition de développer des méthodes rapides convergeant vers des équilibres de Pareto.
Fichier principal
Vignette du fichier
thesis_Garrigos.pdf (14.17 Mo) Télécharger le fichier

Dates and versions

tel-01245406 , version 1 (18-12-2015)

Identifiers

  • HAL Id : tel-01245406 , version 1

Cite

Guillaume Garrigos. Descent dynamical systems and algorithms for tame optimization and multi-objective problems.. Optimization and Control [math.OC]. Université de Montpellier; Universidad Tecnica Federico Santa Maria, 2015. English. ⟨NNT : ⟩. ⟨tel-01245406⟩
507 View
425 Download

Share

Gmail Facebook Twitter LinkedIn More