Strategy improvement method for solving simple stochastic games
Méthode d'amélioration de stratégie pour résoudre les jeux stochastiques simples
Résumé
A Stochastic Game is played by two players, MAX and MIN, by moving a token on a set of states. At each step, both players simultaneously choose an action which moves the token to a new state according to a probability distribution dependent on both actions. In addition, player MIN has to pay to player MAX a value depending on the new state. This continues until the token ends in a sink, in which case the game stops. Hence, this is a zero-sum game where MAX seeks to maximise its expected value gained during the game and MIN tries to minimise it. Those games were introduced by Shapley in 1953 who proved that there exists a pair of memoryless optimal strategies for the players and thus an optimal expected gain.In 1990, Condon presented a restriction of Stochastic Games called Simple Stochastic Games (SSG) in which players play alternatively. They proved that there exist a pair of optimal strategies that are memoryless and determinist. Our goal is to compute those strategies. At the moment, all deterministic algorithms for solving this problem are exponential and non-deterministic algorithms are in sub-exponential time.In this thesis, we mainly focus on the strategy improvement method for solving SSGs. We first reprove some known results without using the stopping condition, a condition on SSG guaranteeing that the game stops with probability 1. Then, we prove a bound on the format value of the vertices, and we present a generic algorithm to describe strategy improvement algorithms. We use it in order to prove some time bounds for all instances of strategy improvement algorithms. Then we compare the strategy improvement and the value iteration method. After that, we introduce the concept of super-switch and provide new recursive algorithms for solving SSG. We then express the SSG problem as a unique sink orientation problem on the permutahedron, a polytope whose set of vertices is the symmetric group. Finally, we try to extend the classic notion of summing games in combinatorial game theory to extend it in the case of simple stochastic games. We introduce a parameter on combinatorial games, the slowed shortest path, in order to sum randomised version of impartial games, and we compute it for some classical games.
Un Jeu Stochastique est joué par deux joueurs, MAX et MIN, en déplaçant un pion sur un ensemble d'états. À chaque tour, les deux joueurs choisissent simultanément une action et le pion est déplacé suivant une loi de probabilité dépendante du choix des deux joueurs. De plus, une valeur est associée à chaque état et le joueur MIN doit payer au joueur MAX cette valeur à chaque entrée dans l'état. Cela continue jusqu'à ce que le pion entre dans un puits. Dans ce cas, le jeu s'arrête. Il s'agit donc d'un jeu à somme nulle, où le but de MAX est de maximiser l'espérance de la valeur gagner durant la partie et MIN cherche à la minimiser. Ces jeux ont été introduits par Shapley en 1953, qui prouve qu'il existe des stratégies optimales pour les joueurs qui sont sans mémoire, et de ce fait, un gain moyen optimal.En 1990, Condon présente une restriction des jeux stochastiques appelés jeux stochastiques simples (SSG pour Simple Stochastic Games en anglais) dans lequel les joueurs jouent à tour de rôle. Elle prouve qu'il existe une paire de stratégies déterministe, sans mémoire et optimales pour les joueurs. Notre but est de calculer ces stratégies. Pour le moment, les algorithmes déterministes pour résoudre ce problème sont en temps exponentiel, quant aux algorithmes non déterministes ils ont un temps moyen sous-exponentiel.Dans cette thèse, on se focalise principale sur la méthode d'amélioration de stratégie pour résoudre des SSGs. On commence par reprouver certains résultats connus, mais sans utiliser la condition d'arrêt, une condition sur les SSG garantissant que la partie s'achève avec probabilité 1. Ensuite, on prouve une borne stricte sur le format des valeurs des sommets, et on présente un algorithme générique qui capture les algorithmes d'amélioration de stratégies. On l'utilise pour prouver bornes de complexités générales pour tous les algorithmes d'améliorations de stratégies. On compare également les méthodes d'améliorations de stratégies et d'itération de valeur. Dans un second temps, on introduit le concept de super-switch et on présente de nouveaux algorithmes récursifs pour résoudre les SSGs.On exprime ensuite le problème SSG comme un problème d'orientation à puits unique (USO) sur le permutahedron, un polytope dont les sommets sont les éléments du groupe symétrique.Enfin, on cherche à étendre une notion classique en théorie des jeux combinatoire dans le cadre des jeux stochastiques simples : la somme de jeux. On introduit un paramètre sur les jeux combinatoires, le plus court chemin ralenti, dans le but de sommer des versions randomisées de jeux impartiaux, et on le calcule pour quelques jeux classiques.
| Origine | Version validée par le jury (STAR) |
|---|