Contributions to the Optimal Solution of Several Bandit Problems - TEL - Thèses en ligne Accéder directement au contenu
Hdr Année : 2020

Contributions to the Optimal Solution of Several Bandit Problems

Contributions à la résolution optimale de différents problèmes de bandit

Résumé

This document presents in a unified way different results about the optimal solution of several multiarmed bandit problems. We present and analyze algorithms for sequential decision making that adaptively sample several probability distributions with unknown characteristics, in order to achieve different types of objectives. Our contributions cover two types of problems. On the one hand, we study rewards maximization in some variants of the classical bandit model and on the other hand we focus and socalled active identification problems, in which there is no incentive to maximize reward, but one should optimize exploration in order to answer some (possibly complex) question about the underlying distri- butions. We highlight several common tools for solving these problems. First, lower bounds, that not only permit to assess the optimality of an algorithm, but also guide the design of asymptotically optimal algorithms. We indeed provide several examples of lower-bound-inspired algorithms. Then, we emphasize the importance of time-uniform self-normalized concentration inequalities to analyze algorithms. Finally, on the algorithmic side, we present several variants of an important Bayesian principle called Thompson Sampling, which leads to easy-to-implement asymptotically optimal algorithms in some particular cases.
Ce document présente d’une manière unifiée plusieurs résultats liés à la résolution optimale de problèmes dits de bandit à plusieurs bras. Nous présentons et analysons des algorithmes pour la prise de décision séquentielle qui échantillonnent de manière adaptative des distributions de probabilités ayant des caractéristiques inconnues, dans le but de remplir différents types d’objectifs. Nous présentons des contributions pour la résolution de deux types de problèmes. D’une part nous nous intéressons à la maximization de récompenses dans des variantes du modèle de bandit classique, et d’autre part nous étudions différents problèmes d’identification active, pour lesquels l’objectif est d’optimiser l’exploration de l’environement de sorte à pouvoir répondre une question (possiblement complexe) sur les distributions sous-jacentes, mais sans la contrainte de maximiser des récompenses. Nous mettons en avant plusieurs outils communs pour traiter ces deux types de problèmes. Tout d’abord l’utilisation de bornes inférieures, qui permettent non seulement de valider l’optimalité d’un algorithme, mais qui servent aussi à guider la conception d’algorithmes asymptotiquement optimaux. Nous présentons en effet plusieurs exemples d’algorithmes inspirés par des bornes inférieures. Ensuite, nous insistons sur l’importance des inégalités de concentration auto-normalisées et uniformes en temps pour l’analyse d’algorithmes de bandits. En- fin, nous présentons plusieurs variantes d’un important principe bayésien appelé l’échantillonnage de Thompson, qui conduit à des algorithmes asymptotiquement optimaux et faciles d’implémentation dans certains cas particuliers.
Fichier principal
Vignette du fichier
HDR_EmilieKaufmann.pdf (2.26 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03825097 , version 1 (24-10-2022)

Identifiants

  • HAL Id : tel-03825097 , version 1

Citer

Emilie Kaufmann. Contributions to the Optimal Solution of Several Bandit Problems. Machine Learning [stat.ML]. Université de Lille, 2020. ⟨tel-03825097⟩
108 Consultations
129 Téléchargements

Partager

Gmail Facebook X LinkedIn More