Development and Theoretical Analysis of the Algorithms for Optimal Control and Reinforcement Learning
Le développement et l'analyse théorique des algorithmes de contrôle optimal et d'apprentissage par renforcement
Résumé
In this PhD dissertation, we address the problems of optimal stopping and learning in Markov decision processes used in reinforcement learning (RL). In the first direction, we derive complexity estimates for the algorithm called Weighted Stochastic Mesh (WSM) and give a new method for comparing the complexity of optimal stopping algorithms with the semi tractability index. We show that WSM is optimal with respect to this criterion when the commonly used regression methods are much mess effectiveFor reinforcement learning, we give a non-asymptotic convergence analysis of a stochastic approximation scheme with two time scales - gradient TD - under assumptions of "martingale increment" noise - buffer replay - and of "Markov noise" (when learning is done along a single run). We obtain upper bounds that are rate-optimal by constructing an error expansion method that provides accurate control of the remainders terms.We also present a new algorithm for variance reduction in policy gradient schemes. The proposed approach is based on minimising an estimator for the empirical variance of the weighted rewards. We establish theoretical and practical gains over the classical actor-critic (A2C) method.
Dans la thèse, nous abordons les problèmes de l'arrêt optimal et l’apprentissage dans les processus décisionnel de Markov utilisés en apprentissage par renforcement (Reinforcement Learning, RL). Dans la première direction, nous dérivons des estimations de complexité pour l'algorithme appelé Weighted Stochastic Mesh (WSM) et donnons une nouvelle méthodologie pour le compairison de la complexité des algorithmes d'arrêt optimale avec l'indice de semi-tractabilité. Nous montrons que WSM est optimal par rapport à ce critère, quand les méthodes de régression couramment utilisées ne sont pas très bien.Pour l’apprentissage par renforcement nous donnons une analyse de convergence non asymptotique d'un schéma d'approximation stochastique à deux échelles de temps – Gradient TD- sous des hypothèses de bruit « incrément de martingale » - buffer replay - et de de Markov. Nous obtenons des bornes supérieures qui sont optimales en taux en construisant une méthode de développement de l'erreur, qui permet d’obtenir un contrôle précis des restes.Nous présentons aussi un nouvel algorithme de réduction de variance dans les schémas de « policy-gradient ». L'approche proposée basée sur la minimisation d’un estimateur de la variance empirique des récompeneses pondérées. Nous avons établi théoriquement et pratiquement un gain par rapport à la méthode classique d'acteur-critique (A2C).
| Origine | Version validée par le jury (STAR) |
|---|