Efficient Algorithms for Control and Reinforcement Learning
Algorithmes efficaces pour le contrôle et l'apprentissage par renforcement
Résumé
Reinforcement learning describes how an agent can learn to act in an unknown environment in order to maximize its reward in the long run. It has its origins in the field of optimal control, as well as in some works in psychology. The increase in computational power and the use of approximation methods such as neural networks have led to recent successes, in particular in the resolution of games, yet without systematically providing theoretical guarantees. As for the field of optimal control, for which a model of the environment is provided, it has known solid theoretical developments since the 1960s, with numerical tools that have proven useful in many industrial applications. Nevertheless, the numerical resolution of high dimensional nonlinear control problems, which are typically encountered in robotics, remains relatively open today.
In this thesis, we develop and analyze efficient algorithms, when possible with theoretical guarantees, for control and reinforcement learning. We show that, even though they are formulated differently, these two problems are very similar. We first focus on the discretization of continuous state deterministic Markov decision processes, by adapting a method developed for continuous time control. Then we propose a method for fast estimation of stability regions applicable to imperfectly known high-dimensional dynamical systems. We then generalize an algorithm for solving control problems derived from polynomial optimization, to non-polynomial systems known through a finite number of observations. For this, we use a sum-of-squares representation of smooth positive functions from kernel methods. Finally, we analyze a classical algorithm in reinforcement learning, the temporal-difference learning algorithm, in its non-parametric version. In particular, we insist on the link between the temporal-difference learning algorithm and the stochastic gradient descent algorithm, for which many convergence results are known.
L’apprentissage par renforcement désigne pour un agent le fait d’apprendre à agir dans un environnement inconnu, de façon à maximiser sa récompense sur le long terme. Il trouve son origine dans le domaine du contrôle optimal, ainsi que dans certains travaux en psychologie. L’augmentation des capacités de calcul et l’utilisation de méthodes d’approximation comme les réseaux de neurones ont permis des succès récents notamment pour la résolution des jeux, sans pour autant systématiquement fournir des garanties théoriques. Quant au domaine du contrôle optimal, pour lequel un modèle de l’environnement est fourni, il a connu des développements théoriques solides dès les années 1960, avec des outils numériques qui ont fait leurs preuves dans de nombreuses applications industrielles. Néanmoins, la résolution numérique de problèmes de contrôle non-linéaires de grande dimension, problèmes qui sont notamment rencontrés en robotique, reste aujourd’hui relativement ouverte.
Dans cette thèse, nous développons et analysons des algorithmes efficaces, si possible avec des garanties théoriques, pour le contrôle et l’apprentissage par renforcement. Nous montrons que, même s’ils sont formulés différemment, ces deux problèmes sont très proches. Nous nous intéressons d’abord à la discrétisation des processus de décision Markoviens déterministes à état continu, en adaptant une méthode développée pour le contrôle en temps continu. Puis nous proposons une méthode d’estimation rapide de régions de stabilité applicable à des systèmes dynamiques de grande dimension imparfaitement connus. Nous généralisons ensuite un algorithme de résolution de problèmes de contrôle issu de l’optimisation polynomiale, aux systèmes non-polynomiaux et connus à partir d’un nombre fini d’observations. Pour cela, nous utilisons une représentation comme somme de carrés des fonctions positives lisses issue des méthodes à noyaux. Enfin, nous analysons un algorithme classique en apprentissage par renforcement, l’algorithme des différences temporelles, dans sa version non-paramétrique. Nous soulignons ainsi le lien entre l’algorithme des différences temporelles et l’algorithme de descente de gradient stochastique, pour lequel de nombreux résultats de convergence sont connus.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|