Reinforcement learning and Bayesian outcome-weighted learning for precision medicine : integrating medical knowledge into decision-making algorithms
Apprentissage par renforcement et outcome-weighted learning bayésien pour la médecine de précision : Intégration de connaissances médicales dans les algorithmes de décision
Résumé
Precision medicine aims to tailor treatments to the characteristics of each patient by relying on the frameworks of Individualized Treatment Regimes (ITR) and Dynamic Treatment Regimes (DTR). ITRs involve a single therapeutic decision, while DTRs allow for the adaptation of treatments over time through a sequence of decisions. For these approaches to be effective, they must be capable of handling complex data and integrating medical knowledge, which is essential for enabling realistic and safe clinical use. This work presents three research projects. First, a state-of-the-art review of methods for integrating medical knowledge into Reinforcement Learning (RL) models was conducted, considering the context of DTR and their specific constraints for application to observational data. Second, a probabilistic method for constructing rewards was developed for RL models, based on the preferences of medical experts. Illustrated by case studies on diabetes and cancer, this method generates data-driven rewards, avoiding the biases of "manual" construction and ensuring consistency with medical objectives in learning treatment recommendation strategies. Third, a Bayesian framework for the Outcome-Weighted Learning (OWL) method was proposed to quantify uncertainty in treatment recommendations, thereby enhancing the robustness of therapeutic decisions, and was illustrated through simulations studies. This contributions aim to improve the reliability of decision-making tools in precision medicine, by integrating medical knowledge into RL models on one hand, and proposing a Bayesian framework to quantify uncertainty in the OWL model on the other. This work is part of a global perspective of interdisciplinary collaboration, particularly among the fields of machine learning, medical sciences, and statistics.
La médecine de précision vise à adapter les traitements aux caractéristiques de chaque patient en s'appuyant sur les formalismes des "Individualized Treatment Regimes" (ITR) et des "Dynamic Treatment Regimes" (DTR). Les ITR concernent une seule décision thérapeutique, tandis que les DTR permettent l'adaptation des traitements au fil du temps via une séquence de décisions. Pour être pertinentes, ces approches doivent être en mesure de traiter des données complexes et d'intégrer les connaissances médicales, essentielles pour permettre une utilisation clinique réaliste et sans risques. Cette thèse présente trois projets de recherche. Premièrement, un état de l'art des méthodes d'intégration des connaissances médicales dans les modèles de "Reinforcement Learning" (RL) a été réalisé, en tenant compte du contexte des DTR et de leurs contraintes spécifiques pour une application sur des données observationnelles. Deuxièmement, une méthode probabiliste de construction des récompenses a été développée pour les modèles de RL, s'appuyant sur les préférences des experts médicaux. Illustrée par des études de cas sur le diabète et le cancer, cette méthode génère des récompenses de manière à exploiter les données, le savoir de l'expert médical et les relations entre les patients, évitant les biais de construction "à la main" et garantissant une cohérence avec les objectifs médicaux. Troisièmement, un cadre bayésien pour la méthode "Outcome-Weighted Learning" (OWL) a été proposé afin de quantifier l'incertitude dans les recommandations de traitement, renforçant ainsi la robustesse des décisions thérapeutiques, et a été illustré à travers de simulations de données. Les contributions de cette thèse visent à améliorer la fiabilité des outils de prise de décision en médecine de précision, d'une part en intégrant les connaissances médicales dans les modèles de RL, et d'autre part en proposant un cadre bayésien pour quantifier l'incertitude dans le modèle OWL. Ces travaux s'inscrivent dans une perspective globale de collaboration interdisciplinaire en particulier entre les domaines de l'apprentissage automatique, des sciences médicales et des statistiques.
| Origine | Version validée par le jury (STAR) |
|---|