Solving repeated optimization problems by Machine Learning
Utilisation de méthodes d'apprentissage pour la résolution de problèmes répétés d'optimisation
Résumé
This thesis aims at using machine learning techniques in the context of Mixed Integer LinearProgramming instances generated by stochastic data. Rather than solve these instances independentlyusing the Branch and Bound algorithm (B&B), we propose to leverage the similarities between instancesby learning inner strategies of this algorithm, such as node selection and branching.The main approach developed in this work is to use reinforcement learning to discover by trials-and-errorsstrategies which minimize the B&B tree size. To properly adapt to the B&B environment, we definea new kind of tree-based transitions, and elaborate on different cost models in the correspondingMarkov Decision Processes. We prove the optimality of the unitary cost model under both classical andtree-based transitions, either for branching or node selection. However, we experimentally show that itmay be beneficial to bias the cost so as to improve the learning stability. Regarding node selection, weformally exhibit an optimal strategy which can be more efficiently learnt directly by supervised learning.In addition, we propose to exploit the structure of the studied problems. To this end, we propose adecomposition-coordination methodology, a branching heuristic based on a graph representation of aB&B node and finally an approach for learning to disrupt the objective function.
Cette thèse a pour but d’utiliser des techniques d’apprentissage automatique pour larésolution de problèmes linéaires en nombres entiers issus de données stochastiques. Plutôt que de lesrésoudre indépendamment, nous proposons de tirer profit des similarités entre instances en apprenantdifférentes stratégies au sein d’un algorithme de Branch and Bound (B&B).L’axe principal développé est l’utilisation d’apprentissage par renforcement pour découvrir des stratégiesminimisant la taille des arbres de B&B. Afin de s’adapter `a l’environnement induit par l’algorithmede B&B, nous définissons un nouveau type de transitions au sein de processus de décision markoviens,basées sur la structure d’arbre binaire. Par ailleurs, nous étudions différents modèles de coûts et prouvonsl’optimalité du modèle de coût unitaire sous les transitions classiques et binaires, dans l’apprentissagedes stratégies de branchement et de sélection de noeud. Pour autant, les expérimentations menéessuggèrent qu’il peut -être préfèrable de biaiser le modèle de coût afin d’améliorer la stabilité du processusd’apprentissage. En ce qui concerne la stratégie de sélection de noeud, nous démontrons l’optimalitéd’une stratégie explicitement définie, qui peut -être apprise plus efficacement de manière supervisée.Par ailleurs, nous proposons d’exploiter la structure des problèmes étudiés. Nous étudions pour cela unestratégie de décomposition-coordination, une heuristique de branchement basée sur une représentationpar graphe d’un noeud de l’arbre de B&B et enfin l’apprentissage de perturbations de la fonction objectif.
| Origine | Version validée par le jury (STAR) |
|---|