Contributions to sochastic algorithms for Big Data and multivariate extreme value theory. - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2018

Contributions to sochastic algorithms for Big Data and multivariate extreme value theory.

Contributions aux algorithmes stochastiques pour le Big Data et à la théorie des valeurs extrêmes multivariées.

Résumé

This thesis in divided in two parts. The first part studies models for multivariate extremes. We give a method to construct multivariate regularly varying random vectors. The method is based on a multivariate extension of a Breiman Lemma that states that a product $RZ$ of a random non negative regularly varying variable $R$ and a non negative $Z$ sufficiently integrable is also regularly varying. Replacing $Z$ with a random vector $Z$, we show that the product $RZ$ is regularly varying and we give a characterisation of its limit measure. Then, we show that taking specific distributions for $Z$, we obtain classical max-stable models. We extend our result to non-standard regular variations. Next, we show that the Pareto model associated with the Hüsler-Reiss max-stable model forms a full exponential family. We show some properties of this model and we give an algorithm for exact simulation. We study the properties of the maximum likelihood estimator. Then, we extend our model to non-standard regular variations. To finish the first part, we propose a numerical study of the Hüsler-Reiss Pareto model. In the second part, we start by giving a lower bound of the smallest singular value of a matrix perturbed by appending a column. Then, we give a greedy algorithm for feature selection and we illustrate this algorithm on a time series dataset. Secondly, we show that an incoherent matrix satisfies a weakened version of the NSP property. Thirdly, we study the problem of column selection of $X\in\mathbb{R}^{n \times p}$ given a coherence threshold $\mu$. This means we want the largest submatrix satisfying some coherence property. We formulate the problem as a linear program with quadratic constraint on $\{0,1\}^p$. Then, we consider a relaxation on the sphere and we bound the relaxation error. Finally, we study the projected stochastic gradient descent for online PCA. We show that in expectation, the algorithm converges to a leading eigenvector and we suggest an algorithm for step-size selection. We illustrate this algorithm with a numerical experiment.
La thèse comporte deux parties distinctes. La première partie concerne des modèles pour les extrêmes multivariés. On donne une construction de vecteurs aléatoires multivariés à variations régulières. La construction se base sur une extension multivariée d'un lemme de Breiman établissant la propriété de variation régulière d'un produit $RZ$ de variable aléatoire avec $R$ positive à variation régulière et $Z$ positive suffisamment intégrable. En prenant $Z$ multivarié et suffisamment intégrable, on montre que $Z$ est un vecteur aléatoire à variations régulières et on caractérise sa mesure limite. On montre ensuite que pour $Z$ de loi bien choisie, on retrouve des modèles stables classiques comme le modèle t-extremal, Hüsler-Reiss, etc. Puis, on étend notre construction pour considérer la notion de variation régulière multivariée non standard. On montre ensuite que le modèle de Pareto (qu'on appelle Hüsler-Reiss Pareto) associé au modèle max-stable Hüsler-Reiss forme une famille exponentielle complète. On donne quelques propriétés du modèle Hüsler-Reiss Pareto puis on propose un algorithme de simulation exacte. On étudie l'inférence par le maximum de vraisemblance. Finalement, on considère une extension du modèle Hüsler-Reiss Pareto utilisant la notion de variation régulière non standard. On étudie l'inférence par le maximum de vraisemblance du modèle généralisé et on propose une méthode d'estimation des paramètres. On donne une étude numérique sur l'estimateur du maximum de vraisemblance pour le modèle Hüsler-Reiss Pareto. Dans la second partie qui concerne l'apprentissage statistique, on commence par donner une borne sur la valeur singulière minimale d'une matrice perturbée par l'ajout d'une colonne. On propose alors un algorithme de sélection de colonne afin d'extraire les caractéristiques de la matrice. On illustre notre algorithme sur des données réelles de séries temporelles où chaque série est pris comme étant une colonne de la matrice. Deuxièmement, on montre que si une matrice $X$ à une propriété d'incohérence alors $X$ possède aussi une version affaiblie de la propriété NSP (null space property). Puis, on s'intéresse au problème de sélection de matrice incohérente. A partir d'une matrice $X\in \mathbb{R}^{n \times p}$ et $\mu>0$, on cherche la plus grande sous-matrice de $X$ avec une cohérence inférieure à $\mu$. Ce problème est formulé comme un programme linéaire avec contrainte quadratique sur $\{0,1\}^p$. Comme ce problème est NP-dur, on considère une relaxation sur la sphère et on obtient une borne sur l'erreur lorsqu'on considère le problème relaxé. Enfin, on analyse l'algorithme de gradient stochastique projeté pour l'analyse en composante principale online. On montre qu'en espérance, l'algorithme converge vers un vecteur propre maximum et on propose un algorithme pour sélectionner le pas de l'algorithme. On illustre ensuite cet algorithme par une expérience de simulation.
Fichier principal
Vignette du fichier
These Olivier HO.pdf (1.73 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01916468 , version 1 (08-11-2018)

Identifiants

  • HAL Id : tel-01916468 , version 1

Citer

Zhen Wai Olivier Ho. Contributions to sochastic algorithms for Big Data and multivariate extreme value theory.. Mathematics [math]. Université Bourgogne-Franche-Comté, 2018. English. ⟨NNT : ⟩. ⟨tel-01916468⟩
75 Consultations
110 Téléchargements

Partager

Gmail Facebook X LinkedIn More