Structured probabilistic inference in object-oriented probabilistic graphical models - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2012

Structured probabilistic inference in object-oriented probabilistic graphical models

Inférence probabiliste structurée dans les modèles graphiques probabilistes orientés-objet

Lionel Torti
  • Fonction : Auteur
  • PersonId : 868334

Résumé

Troubleshooting, risk management and reliability are important use of Probabilistic Graphical Models (PGM). In these domains, Bayesian Networks BNs) are favored, as they offer a sound framework for knowledge representation and probabilistic reason- ing. However, when used to model complex systems, BNs lack both scalability and reusability. In the late 90s, several BN extensions inspired by object-oriented program- ing languages appeared. These new frameworks were the first of a growing list of exten- sions that lead to First-Order Probabilistic Models (FOPMs). Yet, as the AI community set its focus on merging first-order logic with PGMs, BN’s modeling issues were set aside. Nonetheless, there are still many unanswered questions regarding object-oriented PGMs: can we extend inheritance ? How can we implement object-oriented concepts such as subtype polymorphisms, prototyping or abstraction ? What are the differences between FOPMs and object-oriented PGMs? In domains were expert knowledge is used to model systems, probabilistic inference is the principal use of BNs. There exists a wide variety of probabilistic inference al- gorithms, each exploiting different aspects of BNs (conditioning, junction trees, CNF, etc.). But, when we consider BNs extensions, there a few dedicated inference algo- rithms. Indeed, most extensions rely on ground inference, ie., on transforming their model into a BN and apply classic probabilistic inference algorithms. Among the few dedicated inference algorithms, Structured Variable Elimination (SVE, Pfeffer 1999) exploits object-oriented models to prevent redundant computations in networks with structural repetitions. However, SVE has several flaws preventing its use in systems designed by experts in which there is no structural uncertainty, ie., in closed world systems. This thesis purpose was to develop a complete object-oriented framework for di- rected PGMs and generalize the concepts of structured inference. After describing the current state-of-the-art, we propose a discussion about the different representation paradigms used in BN extensions (object-oriented, entity-relationship, first-order). Then we present the first contribution of this thesis: a fully object-oriented framework for di- rected PGMs. Using Probabilistic Relational Models (PRMs) as a starting point, we extend them to include features such as multiple inheritance, abstraction, subtype poly- morphisms and attribute typing inheritance. The second contribution of this thesis is the study and generalization of SVE. In- deed, SVE exploits the structural information encoded by classes to prevent redundant computations. We propose a reformulation of SVE and point out several flaws in the algorithm. We then generalize SVE by extending the concept of structured inference to our framework, resulting in a new probabilistic inference scheme called Structured Probabilistic Inference (SPI). Finally, we show how d-separation analysis and SPI can both be used conjointly to speed-up probabilistic inference in PRMs. The third contribution of this thesis push structured inference a step further. We exploit subgraphs mining to discover repeated patterns in a system. Such patterns define hight level structural repetitions, called dynamic classes, and can be exploited to speed- up SPI. We propose a complexity analysis of this problem and provide an approximate algorithm to discover "good" dynamic classes. We provide experimental results proving the efficiency of our approach.
Les modèles graphiques probabilistes (MGP) sont particulièrement utilisés dans les domaines du diagnostique automatique, de la sûreté de fonctionnement et de la maitrise des risques. Pour ces applications, les réseaux bayésiens (RB) sont parmi les MGP les plus populaires, car ils offrent un cadre efficace pour la représentation des connaissances et le raisonnement probabiliste. Toutefois, la modélisation des systèmes complexes avec des RB soulèvent des difficultés, les principaux étant l’impossibilité de réutiliser l’existant et la difficulté pour modéliser des systèmes de grandes tailles. Vers la fin des années 1990, plusieurs extensions des RB allaient lancer le développement des modèles probabilistes du premier ordre (MPPO). Alors que la communauté des chercheurs en IA se concentra sur la fusion de la logique du premier ordre avec les MGP, les difficultés pour modéliser des systèmes complexes à l’aide de RB furent laissées de côtés. Néan- moins, il y a encore de nombreux manques dans les extensions orientés-objet des RB: pouvons nous mieux définir l’héritage ? Comment représenter des concepts tels que le polymorphisme, le prototypage ou encore l’abstraction ? Quelles sont les différences entre les MPPO et les MGP orientés-objet ? Lorsque les connaissances d’experts sont utilisées pour modéliser un système, l’in- férence probabiliste est une des principales applications des RB. Il existe une grande variété d’approches, chacune exploitant un aspect particulier des RB (conditionnement, arbre de jonction, CNF, etc.). Mais, lorsque nous considérons les extensions des RB, il y a peu d’algorithmes dédiés. En effet, la plupart des extensions utilisent l’inférence "groundée", ie. que le modèle est transformé en RB pour y appliquer des algorithmes d’inférence classiques. Parmi les algorithmes dédiés, Structured Variable Elimination (SVE, Pfeffer 1999) exploite les modèles orientés-objet. Il réduit le nombre de calcul en utilisant la répétition structurelle caractéristique des modèles orientés-objet. Toutefois, SVE a des défauts qui empêchent son utilisation sur des systèmes conçus par des experts dans lesquels il n’y a pas d’incertitude structurelle, ie. dans des mondes fermés. L’objectif de cette thèse est de développer une modélisation orienté-objet pour les MGP et de généraliser l’inférence structurée. Après une analyse de l’état de l’art, nous proposons une comparaison des différents paradigmes de représentation (orienté-objet, entité relation, premier ordre). Puis nous présentons notre première contribution: une formalisation complète du paradigme orienté-objet pour les MGP. Nous utilisons les modèles probabilistes relationnels (MPR) comme base que nous étendons pour inclure des concepts tel que l’héritage multiple, l’abstraction, le polymorphisme et l’héritage de type. La deuxième contribution de cette thèse est l’étude et la généralisation de l’algorit- hme SVE. SVE exploite l’information structurelle représentée par les classes et réduit les calculs redondants. Nous proposons une reformulation de SVE et analysons ses principaux défauts. Puis nous généralisons SVE en étendant la notion d’inférence structurée à notre formalisme. Ceci donne une nouvelle forme d’inférence appelée Inférence Probabiliste Structurée (IPS). Finalement, nous montrons comment l’analyse en d-séparation et l’inférence structurée peuvent être utilisées conjointement pour améliorer les perfor- mances de IPS. La troisième contribution de cette thèse repousse un peu plus loin le concept de l’inférence structurée. Nous exploitons un algorithme de recherche de sous graphes pour détecter une répétition de motifs dans un système. Ces motifs définissent une répétition de structure de haut niveau, appelée classe dynamique, qui peut être exploitée pour améliorer IPS. Nous proposons une analyse de la complexité du problème et un algorithme approché pour trouver de "bonnes" classes dynamiques. Nous fournissons des résultats expérimentaux étayant notre approche. Mots clés : modèles graphiques probabilistes, systèmes complexes, passage à l’échel- le, représentation des connaissances, réseaux bayésiens orienté-objet, modèle relation- nels probabilistes, inférence probabiliste structurée.
Fichier principal
Vignette du fichier
thesis.pdf (2.02 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-01412932 , version 1 (09-12-2016)

Licence

Paternité - Partage selon les Conditions Initiales

Identifiants

  • HAL Id : tel-01412932 , version 1

Citer

Lionel Torti. Structured probabilistic inference in object-oriented probabilistic graphical models. Artificial Intelligence [cs.AI]. UPMC, 2012. English. ⟨NNT : ⟩. ⟨tel-01412932⟩
107 Consultations
265 Téléchargements

Partager

Gmail Facebook X LinkedIn More