Mathematics of statistical sequential decision making : concentration, risk-awareness and modelling in stochastic bandits, with applications to bariatric surgery
aMathématiques de la prise de décision séquentielle statistique : concentration, aversion au risque et modélisation pour les bandits stochastiques, et applications à la chirurgie bariatrique
Résumé
This thesis aims to study some of the mathematical challenges that arise in the analysis of statistical sequential decision making algorithms for postoperative patients follow-up. Stochastic bandits (multi-armed, contextual) model the learning of a sequence of actions (policy) by an agent in an uncertain environment in order to maximise observed rewards. To learn optimal policies, bandit algorithms have to balance exploitation of current knowledge and exploration of uncertain actions. Such algorithms have largely been studied and deployed in industrial applications with large datasets, low risk decisions and clear modelling assumptions, such as clickthrough rate maximisation in online advertising. By contrast, digital health recommendations call for a whole new paradigm of small samples, risk-averse agents and complex, nonparametric modelling. To this end, we developed new safe, anytime valid concentration bounds, (Bregman, empirical Chernoff), introduced a new framework for risk-aware contextual bandits (with elicitable risk measures) and analysed a novel class of nonparametric bandit algorithms under weak assumptions (Dirichlet sampling). In addition to the theoretical guarantees, these results are supported by in-depth empirical evidence. Finally, as a first step towards personalised postoperative follow-up recommendations, we developed with medical doctors and surgeons an interpretable machine learning model to predict the long term weight trajectories of patients after bariatric surgery.
Cette thèse porte sur l'étude des défis mathématiques liés à l'analyse d'algorithmes de prise de décision séquentielle pour le suivi postopératoire de patients. Les bandits stochastiques (multi-bras, contextuels) modélisent l'apprentissage d'une suite d'actions (politique) par un agent évoluant dans un environnement incertain afin de maximiser les récompenses observées. Afin d'apprendre de telles politiques optimales, les algorithmes de bandits se confrontent au dilemme de l'exploitation de l'information déjà acquise et de l'exploration d'actions incertaines. De tels algorithmes ont été amplement étudiés et déployés dans le cadre d'applications industrielles faisant intervenir de grands jeux de données, un faible risque pour chaque décision, ainsi que des hypothèses de modélisation bien définies, comme par exemple la maximisation du taux de clic dans la publicité en ligne. A l'inverse, le problème des recommandations de santé requiert un tout nouveau paradigme de petits échantillons, d'aversion au risque et de modélisation complexe et non paramétrique. Dans cette optique, nous avons développé de nouvelle bornes de concentration uniforme en temps (Bregman, Chernoff empirique), introduit un nouveau cadre de bandits contextuels conscients des risques (au moyen de mesure de risque élicitables), et analyser une nouvelle classe d'algorithmes de bandits non paramétriques sous des hypothèses faibles (échantillonnage de Dirichlet). Outre des garanties théoriques, ces résultats sont étayés par des observations empiriques. Nous avons enfin développé, en coordination avec une équipe de médecins et chirurgiens dans le cadre d'un projet de suivi postopératoire, un modèle interprétable par apprentissage automatique de prédiction de la trajectoire de poids à long terme de patients après chirurgie bariatrique.
| Origine | Version validée par le jury (STAR) |
|---|