Contributions à la résolution des processus décisionnels de Markov centralisés et décentralisés: algorithmes et théorie - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2009

Contributions to solving Markov decision processes centralized and decentralized: algorithms and theory

Contributions à la résolution des processus décisionnels de Markov centralisés et décentralisés: algorithmes et théorie

Résumé

This thesis addresses the computational issues in sequential decision-making undervarious sources of uncertainty for either single or multi-agent systems. In particular, wewill be concerned in problems that can be modeled as Markov decision processes. In addition,we address extensions of Markov decision process, which involve uncertainty resultingfrom other agents in the world, and partial observability.We present several strategies that improve the performances of state-of-the-art techniquesfor solving Markov decision processes. We suggest a general method, namely topologicaldynamic programming, that exploits the causal relation between states to deal withtwo key issues. First, it detects the structure ofthe problem as a means of overcoming bothdimensionality and history curses. Secondly, it circumvents the problem of unnecessarybackups and builds optimal and approximate solutions based on a topological order inducedby the underlying problem structure. Moreover, we introduce the centralized planningfor distributed control of Markov decision processes. We provide theoretical basis forfurther work in that direction. This analysis results in a number of efficient exact as wellas approximate algorithms for solving decentralized Markov decision processes. Amongmany, point-based incremental pruning algorithm turns out to be the most efficient sofar. The centralized planning for distributed control opens a number avenues, includinga bounded sufficient statistic for a general model of decentralized Markov decision processes.
Cette thèse porte sur les problèmes de prise de décisions séquentielles sous incertitudes dans un système mono ou multi-agents. Les processus décisionnels de Markov offrent un modèle mathématique permettant à la fois de formaliser et de résoudre de tels problèmes. Il existe de multiple travaux proposant des techniques efficaces pour la résolution des processus décisionnels de Markov. Néanmoins, trois facteurs, dits malédictions, limitent grandement le passage à l'échelle de ces techniques. Le premier facteur, la malédiction de la dimension, est le plus connu. Il lie la complexité des algorithmes au nombre d'états du système dont la croissance est exponentielle en fonction des attributs des états. Le second facteur, la malédiction de l'historique, a été identifié plus récemment. Il lie la complexité des algorithmes à la dimension exponentielle de l'espace des historiques à prendre en compte afin de résoudre le problème. Enfin, le dernier facteur, là malédiction de la distributivité, est identifié dans cette thèse. Il lie la complexité des algorithmes à la contrainte du contrôle distribué d'un système, résultant sur une complexité doublement exponentielle. À travers nos contributions, nous proposons une réponse à chacune des trois malédictions. Nous atténuons à la fois la malédiction de la dimension et la malédiction de l'historique en exploitant les dépendances causales soit entre états soit entre historiques. Suivant cette idée, nous proposons une famille d'algorithmes exacts et approximatifs, nommée programmation dynamique topologique, visant à résoudre les processus décisionnels de Markov complètement ou partiellement observables. Ces algorithmes permettent de réduire considérablement le nombre de mises à jour d'un état ou d'un historique. Ainsi, lorsque les problèmes sont munis d'une structure topologique, la programmation dynamique topologique offre une solution efficace. Pour pallier aux effets de la malédiction de la distributivité, nous avons proposé d'étendre la planification centralisée au cadre du contrôle distribué. Nous proposons une analyse formelle des problèmes de contrôle distribué des processus décisionnels de Markov sous le regard de la planification centralisée. De cette analyse, de nombreux algorithmes de planification centralisée ont vu le jour. Parmi eux, figure point-based incremental pruning (PBIP), l'algorithme approximatif pour la résolution des processus de Markov décentralisés, le plus efficace à ce jour.
Fichier principal
Vignette du fichier
dibangoye.pdf (95.26 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-01082941 , version 1 (14-11-2014)

Identifiants

  • HAL Id : tel-01082941 , version 1

Citer

Jilles Steeve Dibangoye. Contributions à la résolution des processus décisionnels de Markov centralisés et décentralisés: algorithmes et théorie. Informatique [cs]. Université de Caen (France); université Laval (Canada), 2009. Français. ⟨NNT : ⟩. ⟨tel-01082941⟩
446 Consultations
79 Téléchargements

Partager

Gmail Facebook X LinkedIn More