Learning ancestral graphs via a search-and-score approach
Apprentissage de graphes ancestraux par une approche search-and-score
Résumé
Over the past thirty years, causal discovery has grown considerably. Early algorithms were designed under the causal sufficiency assumption (all variables are observed). When some common causes are latent, learning becomes more challenging and relies on the paradigm of ancestral graphs. Historically, the prediction of such graphs has been dominated by constraint-based approaches (e.g., FCI), while more recent score-based approaches often depend on strong assumptions about relationships (linearity) and distributions (Gaussianity). This thesis introduces MIIC_search&score, a score-based framework for learning ancestral graphs that overcomes these limitations. First, we propose a likelihood decomposition for ancestral graphs based on ac-connected sets, enabling a local factorization suitable for optimization. Second, the score we maximize is built from multivariate information terms. This choice makes the criterion agnostic to functional forms and distributions, and thus well-suited to nonlinear and non-Gaussian dependencies, without losing the ability to handle categorical data. Operationally, MIIC_search&score leverages the MIIC algorithm to construct the initial skeleton and separating sets, then adds a search-and-score phase that explores the space of compatible orientations to maximize the score. On simulated data exhibiting nonlinear relationships and non-Gaussian distributions, our approach outperforms state-of-the-art methods, while maintaining strong performance on discrete data. The thesis also addresses converting a partially oriented and potentially cyclic graph into a DAG, a key step for synthetic data generation. The MIIC-to-DAG algorithm takes as input a partially oriented (possibly cyclic) graph and outputs a DAG that preserves existing orientations and v-structures as much as possible, thus respecting essential causal signatures. This module is integrated into the MIIC-SDG generator, which provides a favorable fidelity-privacy trade-off for synthetic data, especially at small sample sizes.
En trente ans, la découverte causale a connu un essor considérable. Les premiers algorithmes ont été conçus sous l'hypothèse de suffisance causale (toutes les variables sont observées). Lorsque certaines causes communes sont latentes, l'apprentissage devient plus délicat et s'appuie sur le paradigme des graphes ancestraux. Historiquement, la prédiction de tels graphes a été dominée par les approches basées sur les contraintes (p. ex. FCI), tandis que les approches par score plus récentes restent souvent tributaires d'hypothèses fortes sur les relations (linéarité) et les distributions (gaussianité).Cette thèse propose MIIC_search&score, un cadre d'apprentissage par score des graphes ancestraux qui s'affranchit de ces limitations. Premièrement, nous introduisons une décomposition de la vraisemblance d'un graphe ancestral fondée sur les ensembles ac-connectés, permettant une factorisation locale exploitable pour l'optimisation. Deuxièmement, le score que nous maximisons s'appuie sur des termes d'information multivariée. Ce choix rend le critère agnostique aux formes fonctionnelles comme aux distributions, et donc adapté aux dépendances non linéaires et non gaussiennes, sans perdre la capacité de traiter des données catégorielles.Opérationnellement, MIIC_search&score s'appuie sur l'algorithme MIIC pour la construction initiale du squelette et des séparations, puis ajoute une phase search-and-score qui explore l'espace des orientations compatibles afin de maximiser le score. Sur des données simulées présentant des relations non linéaires et des distributions non gaussiennes, notre approche surpasse les méthodes de l'état de l'art, tout en conservant de bonnes performances sur des données discrètes.La thèse aborde également la conversion d'un graphe partiellement orienté et potentiellement cyclique en DAG, étape clé pour la génération de données synthétiques. L'algorithme MIIC-to-DAG prend en entrée un graphe partiellement orienté (éventuellement cyclique) et produit un DAG en préservant au maximum les orientations existantes et les v-structures, afin de respecter les signatures causales essentielles. Ce module est intégré dans le générateur MIIC-SDG, qui offre un bon compromis fidélité/confidentialité des données synthétiques, en particulier pour de petites tailles d'échantillon.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
