Close-to-opimal policies for Markovian bandits - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Close-to-opimal policies for Markovian bandits

Politiques quasi-optimales de bandits Markoviens

Résumé

Bandits are one of the most basic examples of decision-making with uncertainty. A Markovian restless bandit can be seen as the following sequential allocation problem: At each decision epoch, one or several arms are activated (pulled); all arms generate an instantaneous reward that depend on their state and their activation; the state of each arm then changes in a Markovian fashion, based on an underlying transition matrix. Both the rewards and the probability matrices are known, and the new state is revealed to the decision maker for its next decision. The word restless serves to emphasize the fact that arms that are not activated can also change states, hence generalizes the simpler rested bandits. In principle, the above problem can be solved by dynamic programming, since it is a Markov decision process. The challenge that we face is the curse of dimension, since the size of possible states and actions grows exponentially with the number of arms of the bandit. Consequently, the focus is to design policies that solve the dilemma of computational efficiency and close-to-optimal performance. In this thesis, we construct computationally efficient policies with provable performance bounds, that may differ depending on certain properties of the problem. In Part I , we first investigate the classical Whittle index policy (WIP) on infinite horizon problems, and prove that if it is asymptotically optimal under the global attractor assumption, then almost always it converges to the optimal value exponentially fast. The application of WIP has the additional technical assumption of indexability as a prerequisite, to get around this, we next study the LP-index policy, that is well-defined for any problem, and shares the same exponential speed of convergence as WIP under similar assumptions. In infinite horizon, we always need the global attractor assumption for asymptotic optimality. In Part II of the thesis, we study the problem under finite horizon, so that this assumption is no-longer a concern. Instead, the LP-compatibility and the non-degeneracy are required for the asymptotic optimality and a faster convergence rate. We construct the finite horizon LP-index policy, as well as the LP-update policy, that amounts to solving new LP-index policies during the evolution of the process. This latter LP-update policy is then generalized to the broader framework of weakly coupled MDPs, together with the generalization of the non-degenerate condition. This condition also allows a more efficient implementation of the LP-update policy, as well as a faster convergence rate, if it is satisfied on the weakly coupled MDPs.
Les bandits sont l'un des exemples les plus élémentaires de prise de décision avec incertitude. Un bandit agité markovien peut être vu comme le problème d'allocation séquentielle suivant : à chaque époque de décision, un ou plusieurs bras sont activés (tirés) ; tous les bras génèrent une récompense instantanée qui dépend de leur état et de leur activation ; l'état de chaque bras change ensuite de façon markovienne, en fonction d'une matrice de transition sous-jacente. Les récompenses et les matrices de probabilité sont toutes deux connues, et le nouvel état est révélé au décideur pour sa prochaine décision. Le terme "agité" sert à souligner le fait que les bras qui ne sont pas activés peuvent également changer d'état, ce qui généralise les bandits reposés plus simples. En principe, le problème ci-dessus peut être résolu par programmation dynamique, puisqu'il s'agit d'un processus de décision de Markov. Le défi auquel nous sommes confrontés est la malédiction de la dimension, puisque la taille des états et des actions possibles croît de manière exponentielle avec le nombre de bras du bandit. Par conséquent, l'objectif est de concevoir des politiques qui résolvent ce dilemme de l'efficacité de calcul et de la performance proche de l'optimum. Dans cette thèse, nous construisons des politiques efficaces en termes de calcul avec des limites de performance prouvables, qui peuvent varier en fonction de certaines propriétés du problème. Dans la première partie, nous étudions d'abord la politique classique de l'indice de Whittle (WIP) sur des problèmes à horizon infini, et nous prouvons que si elle est asymptotiquement optimale sous l'hypothèse de l'attracteur global, alors elle converge presque toujours vers la valeur optimale de façon exponentielle. L'application de WIP requière l'hypothèse technique supplémentaire de l'indexabilité comme prérequis. Pour contourner cela, nous étudions ensuite la politique LP-index, qui est bien définie pour tout problème, et partage la même vitesse exponentielle de convergence que WIP sous des hypothèses similaires. En horizon infini, nous avons toujours besoin de l'hypothèse d'attracteur global pour l'optimalité asymptotique. Dans la partie II de la thèse, nous étudions le problème à horizon fini, de sorte que cette hypothèse n'est plus un problème. Au lieu de cela, la compatibilité LP et la non-dégénérescence sont requises pour l'optimalité asymptotique et un taux de convergence plus rapide. Nous construisons la politique LP-index à horizon fini, ainsi que la politique LP-mise à jour, qui revient à résoudre de nouvelles politiques LP-index au cours de l'évolution du processus. Cette dernière politique LP-update est ensuite généralisée au cadre plus large des MDPs faiblement couplés, ainsi que la généralisation de la condition de non-dégénérescence. Cette condition permet également une mise en œuvre plus efficace de la politique de mise à jour LP, ainsi qu'un taux de convergence plus rapide, si l'on tient compte de l'évolution du processus.
Fichier principal
Vignette du fichier
thesis-Chen YAN.pdf (8 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04068056 , version 1 (09-01-2023)
tel-04068056 , version 2 (13-04-2023)

Identifiants

  • HAL Id : tel-04068056 , version 1

Citer

Chen Yan. Close-to-opimal policies for Markovian bandits. Machine Learning [cs.LG]. Université Grenoble Alpes (UGA), 2022. English. ⟨NNT : ⟩. ⟨tel-04068056v1⟩
172 Consultations
49 Téléchargements

Partager

Gmail Facebook X LinkedIn More