Μοdel selectiοn and apprοximatiοn in high-dimensiοnal mixtures οf experts mοdels : from theory to practice - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Μοdel selectiοn and apprοximatiοn in high-dimensiοnal mixtures οf experts mοdels : from theory to practice

Sélection et approximation de modèle dans les modèles de mélange d'experts de grande dimension : de la théorie à la pratique

Résumé

In this thesis, we study the approximation capabilities, model estimation and selection properties, of a rich family of mixtures of experts (MoE) models in a high-dimensional setting, including MoE with Gaussian experts and soft-max (SGaME) or Gaussian gating functions (GLoME). Firstly, we improve upon universal approximation results in the context of unconditional mixture distributions and study such capabilities for MoE models in a variety of contexts, including conditional probability density functions (PDF) approximation and approximate Bayesian computation. More precisely, we prove that to an arbitrary degree of accuracy, location-scale mixtures of a continuous PDF can approximate any continuous PDF, uniformly, on a compact set; location-scale mixtures of an essentially bounded PDF, resp. of conditional PDF, can approximate any PDF, resp. any continuous conditional PDF whenever the input and output variables are both compactly supported, in Lebesgue spaces. Next, we establish non-asymptotic model selection results in high-dimensional regression scenarios for a variety of MoE regression models, including GLoME and SGaME, based on an inverse regression strategy or a Lasso penalization, respectively. These include results for the selection of the number of mixture components, as well as for the joint variable and covariance matrices rank selection. In particular, these results provide a strong theoretical guarantee: a finite-sample oracle inequality satisfied by the penalized maximum likelihood estimator with a Jensen–Kullback–Leibler type loss, to support the slope heuristic criterion in a finite sample setting, compared to the classical asymptotic criteria. Finally, to support our theoretical results and the statistical study of non-asymptotic model selection, we perform numerical studies by considering simulated and real data, which highlight the performance of our results, including the finite-sample oracle inequalities.
Dans cette thèse, nous étudions les capacités d'approximation et les propriétés d'estimation et de sélection de modèles, d'une riche famille de mélanges d'experts (MoE) dans un cadre de grande dimension. Cela inclut des MoE avec experts gaussiens et fonctions soft-max (SGaME) ou gaussiennes normalisées (GLoME) pour modéliser la distribution de la variable latente conditionnellement aux experts. Tout d'abord, nous améliorons les résultats d'approximation universelle dans les mélanges inconditionnels, et étudions ces capacités d'approximation pour les MoE dans une variété de contextes, y compris en approximation de fonctions de densités de probabilité (FDP) conditionnelles et en calcul bayésien approximatif. Plus précisément, nous prouvons qu'à un degré de précision arbitraire, les mélanges de translatées dilatées d'une FDP continue peuvent approximer toute FDP continue, uniformément, sur un ensemble compact; les mélanges de translatées dilatées d'une FDP essentiellement bornée, resp. d'une FDP conditionnelle, peuvent approcher toute FDP, resp. toute FDP conditionnelle continue lorsque les variables d'entrée et de sortie sont toutes deux à support compact, dans les espaces de Lebesgue. Par la suite, nous établissons des résultats non asymptotiques de sélection de modèle dans des scénarios de régression à grande dimension, pour une variété de modèles de régression MoE, y compris GLoME et SGaME, en s'appyuant sur une stratégie de régression inverse ou une pénalisation Lasso, respectivement. Ceux-ci incluent des résultats pour la sélection du nombre de composantes du mélange d'experts, ainsi que pour la sélection jointe de variable et des rangs des matrices de covariances. En particulier, ces résultats fournissent une garantie théorique solide: une inégalité d'oracle en échantillon fini satisfaite par l'estimateur du maximum de vraisemblance pénalisé avec une perte de type Jensen-Kullback-Leibler, pour soutenir l'heuristique de pente dans un cadre d'échantillon fini, par rapport aux critères asymptotiques classiques. Enfin, pour appuyer nos résultats théoriques et l'étude statistique de la sélection non-asymptotique de modèles, nous réalisons des études numériques en considérant des données simulées et réelles, qui mettent en évidence la performance de nos résultats notamment ceux d'inégalités d'oracle en échantillon fini.
Fichier principal
Vignette du fichier
sygal_fusion_30367-nguyen-trung_tin_61dea90318e42.pdf (6.36 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03524749 , version 1 (13-01-2022)

Identifiants

  • HAL Id : tel-03524749 , version 1

Citer

Trung Tin Nguyen. Μοdel selectiοn and apprοximatiοn in high-dimensiοnal mixtures οf experts mοdels : from theory to practice. Numerical Analysis [math.NA]. Normandie Université, 2021. English. ⟨NNT : 2021NORMC233⟩. ⟨tel-03524749⟩
354 Consultations
228 Téléchargements

Partager

Gmail Facebook X LinkedIn More