Robust and computationally efficient estimation for high-dimensional statistical learning
Estimation robuste et computationnellement efficace pour l'apprentissage statistique en haute dimension
Résumé
This thesis explores various statistical approaches aimed at estimating a signal, i.e., a vector, from an observation. These observations may result from either a linear or nonlinear transformation of the signal, corrupted by additive random noise. The estimators studied integrate the available observation and prior knowledge of the signal to generate estimates. Thus, the quality of the estimation strongly depends on the aforementioned prior information, such as the function transforming the signal into the observation or specific properties of the signal itself, such as the number of its non-zero coefficients or particular constraints it satisfies. Given that this information is often not entirely available, we propose robust estimates to the poor specification of the model. In this context, 'robust' means that our estimators do not require knowledge of certain information about the problem while still providing estimation performance close to those obtained with estimators using a complete description of the model. The first part of this thesis focuses on linear observations, where the observation isω = Ax + ξ,where A is a matrix, ξ the additive noise, and x ∈ X the signal of interest. We examine two cases of poorly specified models. The first is the situation where the description of the set of signals X depends on an unknown real parameter δ. The second deals with situations where the observation matrix A is uncertain. In both cases, we propose estimators, linear or non-linear from the observation, that are robust against these poor model specifications. In the second part of this thesis, the signal x∗ to be estimated is defined as the minimizer of the expectation of a random function. We propose a first-order stochastic method that, given observations allowing for a stochastic approximation of the gradient of the target function, and prior knowledge of certain properties of the problem, produces an estimation of the signal x∗. A robust version, in the sense that it does not require knowledge of the optimal hyperparameters of the previously mentioned algorithm, of this method is then developed. This version provides performances almost identical to the non-robust version.
Cette thèse explore différentes approches statistiques visant à estimer un signal, i.e. un vecteur, à partir d’une observation. Ces observations peuvent résulter soit d’une transformation linéaire ou non linéaire du signal, corrompue par un bruit aléatoire additif. Les estimateurs étudiés intègrent l’observation disponibles et des connaissances préalables sur le signal afin de générer des estimations. Ainsi, la qualité de l’estimation dépend fortement des informations préalables susmentionnées, telles que la fonction transformant le signal en l’observation ou des propriétés spécifiques du signal lui- même. comme le nombre de ses coefficients non nuls ou des contraintes particulières qu’il satisfait. Etant donnés que ces informations ne sont souvent pas entièrement disponibles, nous proposons des estimations robustes à la mauvaise spécification du modèle. Dans ce contexte, ”robuste” signifie que nos estimateurs ne nécessitent pas la connaissance de certaines informations sur le problème et tout en fournissant des performances d’estimation proches de celles obtenues avec des estimateurs utilisant une description complète du modèle. La première partie de cette thèse se concentre sur les observations linéaires, où l’observation estω = Ax + ξ,où A est une matrice, ξ le bruit additif, et x ∈ X le signal d’intérêt. Nous examinons deuxcas de modèles mal spécifiés. Le premier est la situation où la description de l’ensemble dessignaux X dépend d’un paramètre réel inconnu δ. Le second traite de situations où la matriced’observation A est incertaine. Dans les deux cas, nous proposons des estimateurs, linéaires ou non de l’observation, qui sont robustes face à ces mauvaises spécifications du modèle. Dans la deuxième partie de cette thèse, le signal x à estimer est défini comme le minimiseur de l’espérance d’une fonction aléatoire. Nous proposons une méthode stochastique de premier ordre qui étant donné des observations permettant de calculer une approximation stochastique du gradient de la fonction cible, et la connaissance préalables de certaines propriétés du problèmes, produit une estimation du signal x∗. Une version robuste, dans le sens où elle ne nécessite pas la connaissance des hyperparamètres optimaux de l’algorithme précédemment mentionné, de cette méthode est ensuite développée. Cette dernière fournit des performances presque identiques à la version non-robuste.
| Origine | Version validée par le jury (STAR) |
|---|