Adaptive Pure Exploration in Markov Decision Processes and Bandits - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Adaptive Pure Exploration in Markov Decision Processes and Bandits

Exploration Pure Adaptative dans les Processus de Décision Markoviens et les Bandits

Aymen Al Marjani
  • Fonction : Auteur
  • PersonId : 1337024
  • IdRef : 274427931

Résumé

This thesis studies pure exploration problems in Markov Decision Processes (MDP) and Multi-Armed Bandits. These problems have mainly been studied in a “worst-case” perspective. Our aim is to go beyond this pessimistic framework by deepening our understanding of the “problem-dependent” sample complexity, i.e., of the number of observations that an \emph{adaptive} algorithm would need to accomplish a pure exploration task in an MDP that is not necessarily difficult.First, we study the problem of “Best Policy Identification” (BPI) in a infinite-horizon discounted MDP. Drawing inspiration from existing work in the particular case of bandits, we derive a lower bound on the sample complexity of fixed-confidence BPI algorithms. Then we propose Navigate-and-Stop, an algorithm that explores the state-action pairs of the MDP proportionally to the optimal frequencies dictated by the bound. We prove that this algorithm is, within a factor of 2, asymptotically optimal.In a second part, we develop a more direct exploration approach which allows to collect any desired number of observations from any state-action pairs in an episodic MDP, while using a minimal number of episodes. We will see that for a good choice of the number of observations, such a strategy can be used to solve the problem of BPI but also that of Reward-Free Exploration (RFE). This leads to algorithms that enjoy tighter bounds on their sample complexity, which depend in particular on the MDP that the algorithm is facing.Finally, through the problem of All-S\epsilonS-Best-Arms-Identification in a multi-armed bandit, we explore an alternative method to prove lower bounds on the sample complexity for pure exploration problems. Notably, we illustrate certain cases where the bounds obtained in this way are tighter than those proven via the classical method.
Cette thèse s’intéresse aux problèmes d’exploration pure dans les Processus de Décision Markoviens (PDM) et les Bandits Multi-Bras. Ces problèmes ont surtout été étudiés dans une optique "pire-des-cas". L’objet de cette thèse est d’aller au-delà de ce cadre pessimiste en approfondissant notre compréhension de la complexité "spécifique à l’instance", c’est-à-dire du nombre d’observations dont un algorithme adaptatif aurait besoin pour accomplir une tâche d’exploration pure dans un PDM qui n’est pas nécessairement difficile. Premièrement, nous étudions le problème d’identification de la meilleure politique (en anglais "Best Policy Identification" ou BPI) dans un PDM. En s’inspirant de travaux existants dans le cas particulier des bandits, nous démontrons une borne inférieure sur la complexité des algorithmes de BPI dans un PDM escompté. Ensuite nous proposons un algorithme inspiré par cette borne et qui explore les paires d’état-action du PDM proportionnellement aux fréquences optimales dictées par la borne. Nous démontrons que et algorithme est, à un facteur 2 près, asymptotiquement optimal.Dans un deuxième temps, nous développons une approche d’exploration plus directe qui permet de collecter n’importe quel nombre souhaité d’observations depuis n’importe quelles paires d’état-action dans un PDM épisodique, tout en utilisant un nombre minimal d’épisodes. Nous verrons que pour un bon choix du nombre d’observations, une telle stratégie peut être employée pour résoudre le problème de BPI mais aussi celui de l’exploration sans récompense ("Reward-Free Exploration" en anglais). Ceci donne lieu à des algorithmes admettant des bornes plus fines sur leur complexité, qui dépendent notamment du PDM que l’on souhaite résoudre. Finalement, à travers le problème d’identification de l’ensemble des bras ε-optimaux dans un bandit multi-bras, nous explorons une méthode alternative pour prouver des bornes inférieures dans les problèmes d’exploration pure. Nous illustrons certains cas où les bornes obtenues ainsi sont plus fines que celles prouvées via la méthode classique.
Fichier principal
Vignette du fichier
AL_MARJANI_Aymen_2023ENSL0095_These.pdf (2.37 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04400712 , version 1 (17-01-2024)

Identifiants

  • HAL Id : tel-04400712 , version 1

Citer

Aymen Al Marjani. Adaptive Pure Exploration in Markov Decision Processes and Bandits. Statistics [math.ST]. Ecole normale supérieure de lyon - ENS LYON, 2023. English. ⟨NNT : 2023ENSL0095⟩. ⟨tel-04400712⟩
44 Consultations
50 Téléchargements

Partager

Gmail Facebook X LinkedIn More