Of Population-Based Methods for Multiagent Reinforcement Learning
Des méthodes à population pour l’apprentissage par renforcement multiagent
Résumé
This thesis addresses the question of computing game-theoretic equilibria in N-player games, and focuses particularly on the question of computing equilibria in N-player games when N is tremendously large. The thesis' body starts with methods to converge to three different types of equilibria in N-player games: correlated equilibria, coarse-correlated equilibria, and alpha-Rank. All three equilibria are converged-to using an alteration of Policy Space Response Oracle (PSRO), a popular population-based algorithm which computes a number of different policies and finds the optimal way to mix them in order to converge. More specifically, this alteration uses the target equilibrium and an innovative new-policy-computing algorithm to reach said equilibrium. We prove the convergence of our method to these equilibria of interest, and enlarge it to a broader class of equilibria which we define.This answers the initial thesis question regarding converging towards any equilibrium in any finite N-player game. However, these PSRO-derived approaches are heavily dependent on the number of players in their game: the more players there are, the more difficult it becomes for them to find an equilibrium, and this difficulty quickly becomes prohibitive. The second part of the thesis is therefore concerned with overcoming this difficulty when the number of agents is extremely large, by considering that their number is infinite. Paradoxically, this approximation simplifies equilibrium computation by eliminating combinatorial effects. We first analyze what becomes of correlated and coarse-correlated equilibria in Mean-Field games, derive their new expressions, properties, and their behavior when they are reused in N-player games. Under suitable conditions, reusing a Mean-Field (coarse-) correlated equilibrium in an N-player game yields an mathcal{O}left( frac{1}{sqrt{N}} right -approximate (coarse-) correlated equilibrium. We then address the question of computing Mean-Field (coarse-) correlated equilibria. We show that two popular algorithms converge towards Mean-Field coarse-correlated equilibria, but in a spatially-complex way, via the notion of Mean-Field regret minimization. We introduce another variant of PSRO, Mean-Field PSRO, capable of converging towards correlated, coarse-correlated and Nash equilibria in all Mean-Field games of our framework. This is done by the use of black-box optimizers for Nash equilibria, and of no-adversarial-regret algorithms for (coarse-) correlated equilibria. These equilibria are also simplified by the introduction of a new compression method, bandit compression.Finally, the thesis ends with an application of Game-Theoretical equilibria in a real-world situation: soccer penalty kicks. The game-theoretic analysis serves the purpose of analyzing how optimal the behavior of players is, characterizing each player's behavioral tendencies, and providing strategic suggestions to improve penalty kick outcomes
Cette thèse traite la question du calcul et de l'estimation d'équilibres de théorie des jeux dans des jeux à N-joueurs. Elle se concentre en particulier sur les jeux N-joueurs où N est extrêmement large. Le corps de cette thèse commence par décrire des méthodes permettant de converger vers trois types d'équilibres : corrélés, faiblement-corrélés (coarse-correlated), et alpha-Rank. Ces trois équilibres sont atteints via une altération de PSRO, un algorithme basé sur une population, c'est à dire qui calcule différentes stratégies et une manière optimale de les combiner. Plus spécifiquement, cette altération utilise l'équilibre recherché et un nouveau type d'algorithme calculant une nouvelle stratégie pour atteindre l'équilibre mentionné. Nous prouvons que notre méthode converge vers les équilibres que nous examinons, et élargissons ce résultat à une plus large classe d'équilibres que nous définissons.Ces développements apportent une réponse à la question initiale de la thèse portant sur la convergence vers tout équilibre de théorie des jeux dans tout jeu fini à N-joueurs. Cependant, les méthodes dérivées de PSRO mentionnées plus haut peinent à converger rapidement lorsque N est élevé. Pour des valeurs de N très élevées, il devient presque impossible de trouver des équilibres en un temps raisonnable. La seconde partie de cette thèse porte donc sur la question de contourner la complexité provenant du nombre d'agents, en considérant que leur nombre est en fait infini. Paradoxalement, cette approximation simplifie le calcul d'équilibres parce qu'elle élimine tout effet combinatoire provenant des N joueurs. Nous analysons d'abord ce que deviennent les équilibres (faiblement-) corrélés sous l'approximation des jeux à Champ Moyen (Jeux avec une infinité de joueurs), décrivons leur nouvelle expression, leurs propriétés, et leur comportement lorsqu'ils sont réutilisés dans un jeu à N-joueurs. Etant données des conditions raisonnables, réutiliser un équilibre à Champ Moyen dans un jeu à N-joueurs produit un équilibre (faiblement-) corrélé mathcal{O}left( frac{1}{sqrt{N}} right) -approximatif.La thèse aborde ensuite le sujet de calculer des équilibres (faiblement-) corrélés à Champ Moyen. Elle montre que deux algorithmes populaires convergent vers des équilibres faiblement-corrélés à Champ Moyen, d'une façon inefficace spatialement, via la notion de minimisation de regret à Champ Moyen. Nous définissons ensuite une nouvelle variante de PSRO, PSRO à Champ Moyen, capable de converger vers des équilibres corrélés, faiblement corrélés et de Nash dans tout jeu à Champ Moyen conforme à notre formulation. Ce résultat est obtenu via l'utilisation d'optimiseurs boite-noire pour le Nash; et d'algorithmes sans-regret-adversarial pour les équilibres corrélés et faiblement corrélés. Ces équilibres sont aussi simplifiés via l'utilisation d'un nouvel algorithme de compression, "compression de bandits". Enfin, la thèse est conclue par une application d'équilibres de théorie des jeux dans une situation réelle : les tirs au but, lors de matchs de balle-aux-pieds qui devrait être popularisé pour ce sport populaire, arrivé en Angleterre grâce à la France lors du Camp du Drap d'Or. L'analyse de théorie des jeux sert à analyser l'optimalité des stratégies adoptées par les joueurs, à caractériser les tendances comportementales de chaque joueur, et à leur faire des suggestions afin qu'ils puissent améliorer leurs comportements lors de tirs-aux-but
| Origine | Version validée par le jury (STAR) |
|---|