On the Method of Moments for Estimation in Latent Variable Models - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2016

On the Method of Moments for Estimation in Latent Variable Models

Sur la méthode des moments pour d’estimation des modèles à variable latentes

Résumé

Latent linear models are powerful probabilistic tools for extracting useful latent structure from otherwise unstructured data and have proved useful in numerous applications such as natural language processing and computer vision. However, the estimation and inference are often intractable for many latent linear models and one has to make use of approximate methods often with no recovery guarantees. An alternative approach, which has been popular lately, are methods based on the method of moments. These methods often have guarantees of exact recovery in the idealized setting of an infinite data sample and well specified models, but they also often come with theoretical guarantees in cases where this is not exactly satisfied. This is opposed to more standard and widely used methods based on variational inference and sampling and, therefore, makes moment matching-based methods especially interesting. In this thesis, we focus on moment matching-based estimation methods for different latent linear models. Using a close connection with independent component analysis, which is a well studied tool from the signal processing literature, we introduce several semiparametric models in the topic modeling context and for multi-view models and develop moment matching-based methods for the estimation in these models. These methods come with improved sample complexity results compared to the previously proposed methods. The models are supplemented with the identifiability guarantees, which is a necessary property to ensure their interpretability. This is opposed to some other widely used models, which are unidentifiable. For all mentioned models, we perform extensive experimental comparison of the proposed algorithms on both synthetic and real datasets and demonstrate their promising practical performance.
Les modèles linéaires latentes sont des modèles statistique puissants pour extraire la structure latente utile à partir de données non structurées par ailleurs. Ces modèles sont utiles dans de nombreuses applications telles que le traitement automatique du langage naturel et la vision artificielle. Pourtant, l’estimation et l’inférence sont souvent impossibles en temps polynomial pour de nombreux modèles linéaires latents et on doit utiliser des méthodes approximatives pour lesquelles il est difficile de récupérer les paramètres. Plusieurs approches, introduites récemment, utilisent la méthode des moments. Elles permettent de retrouver les paramètres dans le cadre idéalisé d’un échantillon de données infini tiré selon certains modèles, mais ils viennent souvent avec des garanties théoriques dans les cas où ce n’est pas exactement satisfait. Ceci n’est pas le cas pour les méthodes couramment utilisés, fondées sur l’inférence variationnelle et l’échantillonnage ce qui rend les méthodes à base de moment particulièrement intéressantes. Dans cette thèse, nous nous concentrons sur les méthodes d’estimation fondées sur l’appariement de moment pour différents modèles linéaires latents. L’utilisation d’un lien étroit avec l’analyse en composantes indépendantes, qui est un outil bien étudié par la communauté du traitement du signal, nous présentons plusieurs modèles semiparamétriques pour la modélisation thématique et dans un contexte multi-vues. Nous présentons des méthodes à base de moment ainsi que des algorithmes pour l’estimation dans ces modèles, et nous prouvons pour ces méthodes des résultats de complexité améliorée par rapport aux méthodes existantes. Nous donnons également des garanties d’identifiabilité, contrairement à d’autres modèles actuels. C’est une propriété importante pour assurer leur interprétabilité. Pour tous les modèles mentionnés, nous effectuons une comparaison expérimentale extensive des algorithmes associés, à la fois sur des données synthétiques et des données réelles. Elle démontre leurs bonnes performances en pratique.
Fichier principal
Vignette du fichier
phdthesis_podosinnikova.pdf (1.46 Mo) Télécharger le fichier

Dates et versions

tel-01489260 , version 1 (14-03-2017)
tel-01489260 , version 2 (05-04-2018)

Identifiants

  • HAL Id : tel-01489260 , version 1

Citer

Anastasia Podosinnikova. On the Method of Moments for Estimation in Latent Variable Models. Machine Learning [cs.LG]. Ecole Normale Superieure de Paris - ENS Paris, 2016. English. ⟨NNT : ⟩. ⟨tel-01489260v1⟩
906 Consultations
1158 Téléchargements

Partager

Gmail Facebook X LinkedIn More