Contributions to a Theory of Pure Exploration in Sequential Statistics - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Contributions to a Theory of Pure Exploration in Sequential Statistics

Contributions à une théorie de l'exploration pure en statistique séquentielle

Résumé

This thesis lies in the fields of artificial intelligence, sequential statistics and optimization. We focus on the problem of best (in expectation) arm identification in unstructured muti-armed bandits. This problem has two approaches with very different levels of understanding. The fixed-confidence framework is the best understood: asymptotically optimal strategies are known, and we are interested in obtaining non-asymptotic guarantees for, when possible, simple and natural strategies. Working with Gaussian bandits, we propose a finite risk analysis of a new (asymptotically optimal) strategy using the regularity properties of this model. This strategy slightly modifies the sampling rule of the Track-and-Stop algorithm into a more conservative and interpretable rule. In the more general context of an exponential model, we propose a preliminary analyzis of the asymptotic optimality of adaptive Top-Two algorithms, whose sampling rules are particularly simple. Independently, in the fixed-budget framework, for which the existence of a hypothetical complexity remains to be demonstrated, we propose generalizations to non-parametric models of the existing bounds (upper and lower) that were available so far only for very specific models. The obtained bounds involve more precise information-theoretic quantities than the gaps (differences between the means) which appeared previously. These new quantities could be the key to measure the complexity of fixed-budget best-arm identification.
Cette thèse, à la croisée entre les domaines de l’intelligence artificielle, de la statistique séquentielle et de l’optimisation, s’intéresse au problème d’identification du meilleur bras (en espérance) dans les bandits non structurés à K bras. Ce problème possède deux approches dont les niveaux de compréhension sont très différents. Le cadre à confiance fixée est le mieux compris : des stratégies asymptotiquement optimales sont connues, et l’on s’intéresse à l’obtention de garanties non asymptotiques pour, si possible, des stratégies simples et naturelles. Avec des bandits Gaussiens, nous proposons l’analyse à risque fini d’une nouvelle stratégie (asymptotiquement optimale) grâce aux propriétés de régularité de ce modèle. Cette stratégie modifie subtilement la règle d’attribution des tirages de l’algorithme Track-and-Stop en une règle plus prudente et interprétable. Dans le contexte plus général d’un modèle exponentiel, nous proposons l’ébauche d’une analyse de l’asymptotique optimalité d’algorithmes de type Top-Two adaptatifs, dont les règles de choix de tirages sont particulièrement simples. Par ailleurs, dans le cadre à budget fixé, où l’existence d’une hypothétique complexité reste à démontrer, nous proposons des généralisations à des modèles non-paramétriques des bornes (supérieures et inférieures) connues jusqu’à présent pour des modèles très spécifiques. Les bornes obtenues font intervenir des quantités de théorie de l’information plus précises que les écarts entre les moyennes qui apparaissaient précédemment. Ces nouvelles quantités pourraient être la clé pour mesurer la complexité de l’identification de meilleur bras à budget fixé.
Fichier principal
Vignette du fichier
2023ENSL0024_BARRIER_Antoine.pdf (6.88 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04192097 , version 1 (31-08-2023)

Identifiants

  • HAL Id : tel-04192097 , version 1

Citer

Antoine Barrier. Contributions to a Theory of Pure Exploration in Sequential Statistics. Machine Learning [cs.LG]. Ecole normale supérieure de lyon - ENS LYON, 2023. English. ⟨NNT : 2023ENSL0024⟩. ⟨tel-04192097⟩
173 Consultations
106 Téléchargements

Partager

Gmail Facebook X LinkedIn More