Reinforcement learning for combinatorial optimization : leveraging uncertainty, structure and priors - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Reinforcement learning for combinatorial optimization : leveraging uncertainty, structure and priors

Apprentissage par renforcement pour l'optimisation combinatoire : exploiter l'incertitude, les structures et les connaissances a priori

Résumé

Combinatorial optimization problems have been extensively studied due to their numerous applications (planning, logistics, distribution, investment, production...) and their complexity. As they are expensive to solve optimally, the most popular approaches rely on heuristics to make their decisions. However, formulating efficient and effective heuristics is challenging, especially in realistic environments with uncertainty and stochasticity.This Ph.D. thesis studies how reinforcement learning can be used in combinatorial optimization to automate the production of such heuristics. After focusing on a concrete example, task scheduling, I isolate several key features of these problems, encountered in practice: a possible uncertainty on the data, the decisions to be taken, or even the definition of the problem itself, and a strong structure, which has the particularity of being often known or partially known a priori. I explore different ways to take into account these characteristics in reinforcement learning for a wide range of problems, whilst occasionally surpassing the strict boundaries of combinatorial optimization.
Les problèmes d'optimisation combinatoire ont été largement étudiés, notamment en raison de leurs nombreuses applications (planification, logistique, distribution, investissement, production...) et de leur complexité. Coûteux à résoudre de manière exacte, les approches les plus populaires s'appuient sur des heuristiques pour prendre leurs décisions. Cependant, produire des heuristiques efficaces et performantes est un exercice difficile, d'autant plus dans des environnements réalistes avec de l'incertitude ou de la stochasticité.Dans cette thèse de doctorat, nous étudions comment l'apprentissage par renforcement peut être utilisé en optimisation combinatoire pour automatiser la production de telles heuristiques. Après nous être intéressés à un exemple concret, l'ordonnancement de tâches, nous isolons plusieurs caractéristiques clés de ces problèmes, rencontrées en pratique: une possible incertitude sur les données, les décisions à prendre, voire la définition même du problème, et une structure forte, qui a la particularité d'être souvent connue ou partiellement connue a priori. Nous explorons différentes façons de tenir compte de ces caractéristiques dans le cadre de l'apprentissage par renforcement pour une large gamme de problèmes, sortant parfois du cadre strict de l'optimisation combinatoire.
Fichier principal
Vignette du fichier
These_GRINSZTAJN_Nathan.pdf (3.84 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04353766 , version 1 (19-12-2023)

Identifiants

  • HAL Id : tel-04353766 , version 1

Citer

Nathan Grinsztajn. Reinforcement learning for combinatorial optimization : leveraging uncertainty, structure and priors. Artificial Intelligence [cs.AI]. Université de Lille, 2023. English. ⟨NNT : 2023ULILB013⟩. ⟨tel-04353766⟩
59 Consultations
95 Téléchargements

Partager

Gmail Facebook X LinkedIn More