Generalization of L1 penalization in sparse estimation
Généralisation de la pénalisation L1 dans les estimations sparses
Résumé
Many applications in engineering, sociology, neuroscience, biology, etc. require the use of sophisticated mathematical tools for the solution of ill-conditioned inverse problems. For this reason, the study of inverse problems has become a subject of an extensive research activity for many decades.In the middle of the 2000s, the theory of Compressed Sensing, proposed by Candès, Donoho, Romberg and Tao, marked the emergence of a new paradigm which has abundantly irrigated the various branches of applied mathematics where existence of an a priori sparse representations of the sought-after solutions is known, such as in image processing, partial differential equations, genetics, network analysis, etc. The solution methods are often grouped under the label "penalised regression", with a penalisation of the type "l1 norm", "l2 norm" or combinations of them. Recently, the notion of sparsity was applied to spectra of matrices, and the topic of low rank reconstruction has emerged as a handy tool in many modern machine learning problems. In many cases, the most powerful approach to spectrally sparse reconstruction problems is penalised regression penalised by the nuclear norm. The solution to such problems is often obtained using semidefinite programming, which can be efficiently solved via factorisation methods of the Bürer-Monteiro type.The aim of the present work is first to propose a study of l1-penalized regression, called the LASSO method, for the reconstruction of sparse vectors in the case where the design matrix does not satisfy the constraints usually posed in the literature such as incoherence, restricted isometry, etc. In particular, we obtain new results on the prediction error for LASSO in the case where the matrix of columns of the design matrix are realisations of a vector Gaussian mixture, whose class centres form a matrix satisfying the usual incoherence conditions. Our contributions are mainly theoretical and makes use of recent results in probability, as well as classical results such as Dudley bounds for the expectation of maxima of processes with sub-Gaussian slopes, or concentration of measure results for these processes.Next, we propose an extension of classical methods based on spectral sparsity to tensor reconstruction problems, motivated by applications in optical coherence tomography. For this purpose, we use the "tubal" tensor framework introduced by Kilmer and co-workers in recent years. For these problems, we present new- statistical results on the quality of the reconstruction by minimising the empirical risk penalised by the nuclear norm.- geometric results showing that the factorization approach leads to the minimization of a non-convex functional, but whose local minimizers are global as well.Our theoretical results are illustrated by experiments on real data in Optical Coherence Tomography
De nombreuses applications en engineering, sociologie, neurosciences, biologie, etc nécessitent l'utilisation d'outils mathématiques pour la résolution de problèmes inverses mal conditionnés. Pour cette raison, l'étude des problèmes inverses est l'objet d'une activité très intense depuis de nombreuses décennies.Une petite révolution a eu lieu au milieu des années 2000, lors qu'est apparue la théorie du Compressed Sensing, proposée par Candès, Donoho, Romberg et Tao, une approche qui a abondamment irrigué par la suite les diverses branches des mathématiques appliquées où avait été démontré l'existence de représentations parcimonieuses a priori des solutions recherchées, comme en traitement d'images, en équations aux dérivées partielles, en génétique, en analyse des réseaux, etc. Les méthodes de résolution sont souvent regroupées sous l'étiquette "régression pénalisée", avec une pénalisation de type "norme l1 ", "norme l2" ou des combinaisons. Récemment, la notions de sparsité a évolué et de nombreux problèmes de reconstruction, par exemple matriciels, sont maintenant étudié sous l'angle de la parcimonie spectrale, où l'objectif est de reconstruire des matrices de rang faible. Pour cela, l'approche la plus puissance s'appuie sur la régression pénalisée par la norme nucléaire, dont la résolution s'appuie sur la programmation semi-définie, et des méthodes de factorisation de type Bürer-Monteiro afin de préserver le passage à l'échelle algorithmique.L'objet du présent travail est dans un premier temps de proposer une étude de la régression pénalisée par la norme l1, appelée méthode du LASSO, pour la reconstruction de vecteurs admettant une représentation parcimonieuses, dans le cas où la matrice de design ne satisfait pas aux contraintes usuellement posées dans ce type d'approche (incohérence, inversibilité restreinte, etc). Nous obtenons en particulier des résultats nouveaux sur l'erreur de prédiction pour le LASSO dans le cas où la matrice des colonnes de la matrice de design sont des réalisations d'un mélange Gaussien vectoriel, dont les centres de classes forment une matrice satisfaisant les conditions d'incohérence usuelles. Nos contributions sont théoriques et s'appuient sur des résultats récents en probabilité, ainsi que sur des résultats classiques comme les bornes de Dudley pour l'espérance de maxima de processus à pente sous-gaussienne ou des résultats de concentration de la mesure pour ces processus.Dans un deuxième temps, nous considérons les problèmes de reconstruction tensorielle. Nous proposons en particulier une extension des méthodes classiques basées sur la parcimonie spectrale à des problèmes de reconstruction tensorielle, motivés par des applications en tomographie à cohérence optique. Pour cela, nous utilisons le cadre tensoriel introduit par Kilmer et ses collaborateurs ces dernières années. Pour ces problèmes, nous présentons des résultats nouveaux de nature:- statistique sur la qualité de la reconstruction par minimisation du risque empirique pénalisé par la norme nucléaire.- géométriques démontrant que l'approche par factorisation conduit à la minimisation d'une fonctionnelle non-convexe, mais dont tous les minimiseurs locaux sont aussi globaux.Nos résultats théoriques sont illustrés par des expériences sur des données réelles en Tomographie à Cohérence Optique.
| Origine | Version validée par le jury (STAR) |
|---|