Contributions to Bayesian model selection in finite and infinite mixtures with an application to distributed computing
Contributions à la sélection bayésienne des modèles de mélange finis et infinis avec une application au calcul distribué
Résumé
This PhD dissertation aims at deriving new tools and procedures for the problem of Bayesian model selection for mixture models. The Bayes Factor, defined as the ratio of the marginal likelihood (a.k.a model evidence) computed for two competing models, is known to be consistent in most situations. In practice, the estimation of the marginal likelihood of finite mixtures is a complicated task and usually comes at a computational cost of order K!, where K is the number of mixture components. We review the most popular estimators of the model evidence for finite mixtures and suggest two alternative methods that scale better both with K and n, the number of observations.We also consider the Dirichlet process mixture model (DPM) and derive reliable estimators of the marginal likelihood for such non-parametric models. An immediate application is the derivation of goodness-of-fit tests in which the fit of a parametric model is assessed against that of a non-parametric alternative, embodied by the DPM. We show that this procedure is valid by proving that the Bayes Factor is consistent in this setting.Finally, we consider the issue of distributed model evidence estimation for finite mixtures, which remains largely unexplored so far. As usual with mixtures, most difficulties arise due to the lack of identifiability in their induced cluster labeling. Using the Sequential Monte Carlo framework, we derive a robust method that greatly speeds up evidence computation by allowing posterior sampling to be done in parallel.
Ce travail vise à développer de nouveaux outils et procédures pour le problème de la sélection de modèle bayésienne pour les modèles de mélanges. Le facteur de Bayes, défini comme le rapport des vraisemblances marginales calculées pour deux modèles concurrents, est connu pour être consistent dans la plupart des situations. En pratique, l'estimation de la vraisemblance marginale des mélanges finis est une tâche complexe et s'accompagne généralement d'un coût computationnel d'ordre K!, où K est le nombre de composantes du mélange. Nous passons en revue les estimateurs les plus populaires de la vraisemblance marginale pour les mélanges finis et proposons deux méthodes alternatives plus robustes à une augmentation de K et de n, le nombre d'observations. Nous nous intéressons également au modèle de mélange de processus de Dirichlet (DPM) et proposons des estimateurs fiables de la vraisemblance marginale pour de tels modèles non paramétriques. Une application immédiate est la mise en place de tests d'adéquation dans lesquels l'adéquation d'un modèle paramétrique est évaluée par rapport à celle d'une alternative non paramétrique, incarnée par le DPM. Nous montrons que cette procédure est valide en prouvant que le facteur de Bayes est consistent dans ce cadre. Enfin, nous examinons la question de l'estimation distribuée de la vraisemblance marginale pour les mélanges finis, qui reste largement inexplorée jusqu'à présent. Comme c'est généralement le cas avec les mélanges, la plupart des difficultés découlent du manque d'identifiabilité dans l'étiquetage des clusters qu'ils induisent. En utilisant le cadre du Monte Carlo séquentiel, nous développons une méthode robuste qui accélère considérablement le calcul de la vraisemblance marginale en permettant l'échantillonnage selon la loi a posteriori en parallèle.
| Origine | Version validée par le jury (STAR) |
|---|