Contributions to stochastic bandits and link prediction problems - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Contributions to stochastic bandits and link prediction problems

Contributions aux problèmes de bandits stochastiques et de prévision de liens manquants

Résumé

In this thesis, we first focus on two stochastic bandit problems. The first problem deals with the following resource allocation situation: an agent must sequentially choose T actions indexed by covariates among a larger set of N choices. Each time she chooses an action, she receives a payment depending on the action chosen in a non-parametric way, and this action is removed from the set of choices. In the second problem, we assume that the payment received is a linear function of a covariate describing the action, but that this payment is not observed by the agent. Instead, she observes an unfair evaluation of this payment, systematically biased against a set of actions. We design for each problem an algorithm, and we provide upper bounds on their regret. We also establish lower bounds on the regret, showing that these algorithms are optimal up to a (poly)logarithmic factor. In a second time, we address the problem of link prediction in a partially observed network. To do so, we study different methods for estimating the matrix of connection probabilities between the nodes of the network. First, we develop a mixed coordinate gradient descent algorithm to efficiently and robustly estimate the connection probabilities in a sparse network in the presence of missing links and outliers. Then, we study the maximum likelihood estimator in the stochastic block model. We show that it is optimal in the minimax sense under a homogeneity assumption on the connection probabilities of the nodes. Since this estimator cannot be computed in polynomial time, we also study its variational approximation. We show that these two estimators are asymptotically equivalent.
Dans cette thèse, nous nous intéressons dans un premier temps à deux problèmes de bandits stochastiques. Le premier problème étudié modélise la situation d'allocation de ressources suivantes : un agent doit choisir séquentiellement T actions indexées par des covariables parmi un ensemble plus grand de N choix. Chaque fois qu'il choisit une action, il reçoit un paiement dépendant de façon non paramétrique de l'action choisie.; puis cette action est retirée de l'ensemble des choix. Dans le second problème, on suppose que le paiement reçu est une fonction linéaire d'une covariable décrivant l'action choisie, mais que celui-ci n'est pas observé par l'agent ; à la place, celui-ci observe une évaluation injuste de ce paiement, systématiquement biaisée à l'encontre d'un groupe d'actions. Nous proposons pour chaque problème un algorithme dont nous bornons le regret. Nous établissons également des bornes inférieures sur le regret, montrant que ces algorithmes sont optimaux à un facteur (poly)logarithmique près. Dans un second temps, nous abordons le problème de prévision de lien manquant dans un réseau partiellement observé. Pour ce faire, nous étudions différentes méthodes pour estimer la matrice de probabilités de connexion entre les nœuds du réseau. Nous développons tout d'abord un algorithme de descente de gradient mixte par coordonnées pour estimer robustement et efficacement les probabilités de connexion dans un réseau creux en présence de liens manquants et d'intrus. Ensuite, nous étudions l'estimateur du maximum de vraisemblance dans le modèle à blocs stochastiques, et nous montrons que celui-ci est optimal au sens minimax sous une hypothèse d'homogénéité sur les probabilités de connexion des nœuds. Cet estimateur n'étant pas calculable en temps polynomial, on étudie également son approximation variationnelle, et nous montrons que ces deux derniers estimateurs sont asymptotiquement équivalents.
Fichier principal
Vignette du fichier
101525_GAUCHER_2022_archivage.pdf (5.78 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-03727474 , version 1 (19-07-2022)

Identifiants

  • HAL Id : tel-03727474 , version 1

Citer

Solenne Gaucher. Contributions to stochastic bandits and link prediction problems. Statistics [math.ST]. Université Paris-Saclay, 2022. English. ⟨NNT : 2022UPASM009⟩. ⟨tel-03727474⟩
167 Consultations
113 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More