Branch-and-bound algorithm for efficient resolution of sparse optimization problems
Algorithme de branch-and-bound pour la résolution efficace de problèmes d’optimisation parcimonieuse
Résumé
Numerous inverse problems in signal processing, statistics, biomedical imaging, astronomy and machine learning can be cast asthe search for the best pattern combination fitting measurements, these patterns being taken from a known dictionary. The sparsity of the problem comes from the small number of patterns desired, using a `0 term. Several standard methods, among which greedy algorithms (OMP, OLS) and convex reformulations (most notably the `1-norm reformulation), provide approximate solutions to this `0problem. More recently, methods able to solve exactly the `0 problem were designed, using branchand- bound algorithms. This PhD thesis has two goals. First, explore possible accelerations of current branch-and-bound algorithms dedicated to the `0 problem. Then, extend these branch-and-bound algorithms to the case of structured sparsity, where we are not looking for a small number of patterns fitting data, but a small number of groups of patterns fitting data. These contributions lead to the development of an open-source code publicly released.
De nombreux problèmes inverses en traitement du signal, statistique, imagerie biomédicale, astronomie et apprentissage machinepeuvent se formuler comme la recherche de la meilleure combinaison de motifs expliquant les données, ces motifs étant choisis dans un catalogue connu. L’aspect parcimonieux du problème réside dans le faible nombre de motifs que l’on cherche à sélectionner via l’utilisation d’un terme `0. Plusieurs méthodes standards, telles que des algorithmes gloutons (OMP, OLS) et des reformulations convexes du problème (notamment en norme `1), permettent d’obtenir des solutions approchées de ce problème `0. Plus récemment, des méthodes permettant de résoudre exactement le problème `0 ont été développées, reposant sur des algorithmes de branch-and-bound. L’objectif de cette thèse est double. D’une part, explorer les possibilités d’accélérations des algorithmes branch-and-bound `0. D’autre part, étendre ces méthodes à des cas de parcimonie structurée, où l’on ne cherche plus simplement un faible nombre de motifs, mais un faible nombre de groupes demotifs. Ces contributions font l’objet d’un code open-source proposé au plus grand nombre.
| Origine | Version validée par le jury (STAR) |
|---|