Majorize-Minimize algorithms for stepsize determination. Application to the resolution of inverse problems.
Recherche de pas par Majoration-Minoration. Application à la résolution de problèmes inverses.
Résumé
The solution to inverse problems encountered in signal and image processing is often defined as the minimizer of a penalized criterion that accounts simultaneously for the data and the prior. This thesis deals with the minimization of differentiable criteria. We focus more specifically on algorithmic strategies for stepsize determination in iterative descent optimization methods. In Christian Labat's thesis [Labat06], a simple and efficient quadratic majorize-minimize line search method has been proposed (MMQ 1D). This method benefits from strong convergence results when the nonlinear conjugate gradient (NLCG) direction is used. In this thesis, we extend those properties to gradient related algorithms. Moreover, we prove that MMQ 1D generalizes into a multi-dimensional search MMQ rD that ensures the convergence of several subspace algorithms. We experimentally show that the super memory gradient algorithm SMG + MMQ 2D performs better than NLCG + MMQ 1D algorithms, for an image deconvolution test problem. MMQ strategies exclude the case of barrier criteria i.e., functions with unbounded gradient. In this thesis, we propose an original MM line search algorithm for barrier functions, based on a quadratic majorizing function augmented with a logarithmic term. This leads to a simple line search MMLQ 1D that ensures the convergence of several classical descent optimization strategies. We experimentally show that the proposal scheme improves the performances of primal interior point algorithm, for a set of quadratic programming test problems. Finally, we apply the MMLQ 1D approach to maximum entropy reconstruction of bi-dimensional NMR spectra.
La solution des problèmes inverses en traitement du signal et de l'image est souvent définie comme le minimiseur d'un critère pénalisé qui prend en compte conjointement les observations et les informations préalables. Ce travail de thèse s'intéresse à la minimisation des critères pénalisés différentiables. Nous discutons plus précisément de la mise en oeuvre algorithmique de l'étape de recherche de pas dans l'algorithme de descente itérative. Les travaux de thèse de Christian Labat [Labat06] ont mené à l'élaboration de la stratégie de pas par Majoration-Minoration quadratique (MMQ 1D). Cette stratégie se démarque des méthodes de pas standards par sa simplicité d'implémentation et ses propriétés de convergence lorsqu'elle est associée à l'algorithme du gradient conjugué non linéaire (GCNL). Nous étendons ces propriétés à la famille des algorithmes à gradient relié. Nous montrons de plus que l'approche MMQ 1D s'étend en une stratégie de pas multi-dimensionnelle MMQ rD assurant la convergence d'algorithmes de sous-espace. Nous illustrons expérimentalement en déconvolution d'image que l'algorithme de super mémoire de gradient SMG + MMQ 2D est préférable à l'algorithme de gradient conjugué non linéaire GCNL + MMQ 1D. Lorsque le critère pénalisé contient une barrière, c'est-à-dire une fonction dont le gradient est non borné, la procédure de pas MMQ est inapplicable. Nous développons une stratégie de pas tenant compte de la singularité de la barrière à travers des approximations majorantes quadratiques augmentées d'un terme logarithmique. La recherche de pas résultante, notée MMLQ 1D, est simple à mettre en \oe{}uvre et garantit la convergence des algorithmes standards de descente itérative. Nous montrons expérimentalement que la méthode MMLQ 1D accroît les performances de l'algorithme de point intérieur primal pour la programmation quadratique. Nous appliquons enfin cette approche à la reconstruction de spectres RMN bi-dimensionnels par maximum d'entropie.
Loading...