Experimental and Theoretical Analysis of Reinforcement Learning Algorithms
Analyse expérimentale et théorique des algorithmes d'apprentissage par renforcement
Résumé
In Reinforcement Learning (RL), an agent learns how to act in an unknown environment in order to maximize its reward in the long run. In recent years, the use of neural networks has led to breakthroughs, e.g., in scalability. However, there are still gaps in our understanding of how to best employ neural networks in RL. In this thesis, we improve the usability of neural networks in RL in two ways, presented in two separate parts. First, we present a theoretical analysis of the influence of the number of parameters on learning performance. Second, we propose a simple feature preprocessing based on the Fourier series, which empirically improves performance in several ways.In the first part of this thesis, we study how the number of parameters influences performance. While in supervised learning, the regime of over-parameterization and its benefits are well understood, the situation in RL is much less clear. We present a theoretical analysis of the influence of network size and L2 regularization on performance. We identify the ratio between the number of parameters and the number of visited states as a crucial factor and define over-parameterization as the regime when this ratio is larger than one. Furthermore, we observe a double descent phenomenon, i.e., a sudden drop in performance around the parameter/state ratio of one. Our analysis is based on the regularized Least-Squared Temporal Difference (LSTD) algorithm with random features in an asymptotic regime, as both the number of parameters and states go to infinity while maintaining a constant ratio. We derive deterministic limits of the empirical, the true Mean-Squared Bellman Error (MSBE), and the true Mean-Squared Value Error (MSVE) that feature correction terms responsible for the double descent. We show that those correction terms vanish when the L2 regularization increases or the number of unvisited states goes to zero.In the second part of this thesis, we study the preprocessing of features through a Fourier series. In addition to the number of parameters, the amount of optimization that can be achieved in practice remains limited. Neural networks behave thus as under-parameterized models that are also regularized through early stopping. This regularization induces a spectral bias since fitting high-frequency components of the value function requires exponentially more gradient update steps than the low-frequency ones. We propose a simple Fourier mapping for preprocessing, which improves the learning of high-frequency components and thus helps to overcome the spectral bias in RL. We present experiments indicating that this can lead to significant performance gains in terms of rewards and sample efficiency. Furthermore, we observe that this preprocessing increases the robustness with respect to hyperparameters, leads to smoother policies, and benefits the training process by reducing learning interference, encouraging sparsity, and increasing the expressiveness of the learned features.
En apprentissage par renforcement (RL), un agent apprend comment agir dans un environnement inconnu de façon à maximiser sa récompense sur le long terme.Ces dernières années, l'utilisation de réseaux de neurones artificiels a conduit à de nombreuses avancées, notamment en termes de scalabilité.Cependant, de nombreuses lacunes subsistent dans notre compréhension de la meilleure manière d'employer les réseaux de neurones en RL.Dans cette thèse, nous proposons d'améliorer l'utilisation des réseaux de neurones en RL de deux manières, présentées dans deux parties distinctes.La première partie présente une analyse théorique de l'impact du nombre de paramètres sur la performance d'apprentissage.La seconde partie propose un prétraitement simple des données, basé sur la série de Fourier, qui améliore empiriquement les performances des réseaux de neurones de plusieurs façons.Dans la première partie de cette thèse, nous étudions l'influence du nombre de paramètres sur la performance.Alors que dans l'apprentissage supervisé, le régime de surparamétrisation et ses avantages sont bien compris, la situation en RL est beaucoup moins claire.Nous présentons donc une analyse théorique de l'influence du nombre de paramètres et de la régularisation L2 sur la performance.Nous identifions le rapport entre le nombre de paramètres et le nombre d'états visités comme un facteur crucial et définissons la surparamétrisation comme le régime où ce rapport est supérieur à un.De plus, nous observons un phénomène de double descente, caractérisé par une chute soudaine de performance au-delà d'un rapport paramètres/états visités de un.Notre analyse est basée sur l'algorithme de Least-Squares Temporal Difference learning (LSTD) régularisé avec des caractéristiques aléatoires dans un régime asymptotique, où le nombre de paramètres et d'états tendent vers l'infini tout en maintenant un rapport constant.Nous dérivons des limites déterministes de l'erreur quadratique moyenne de Bellman (MSBE) basée sur des échantillons collectés, de la vraie MSBE, et de l'erreur quadratique moyenne de la fonction de valeur (MSVE) qui comportent des termes de correction responsables du phénomène de double descente.Nous démontrons que l'influence des termes de correction diminue avec l'augmentation de la régularisation L2, ou avec le nombre d'états non visités.Dans la seconde partie de cette thèse, nous proposons l'étude d'un prétraitement des données basé sur la série de Fourier.En effet, outre le nombre de paramètres, le nombre d'optimisations réalisé en pratique reste souvent limité.Par conséquent, les réseaux de neurones tendent souvent à se comporter comme des modèles sous-paramétrisés régularisés par un arrêt prématuré.Cette forme de régularisation induit notamment un biais spectral, puisque l'apprentissage des composantes à haute fréquence de la fonction cible requiert exponentiellement plus d'itérations dans la descente de gradient stochastique que pour les composantes à basse fréquence.Pour pallier à ce problème, nous proposons un prétraitement des données basé sur la série de Fourier afin d'améliorer l'apprentissage des composantes à haute fréquence et surmonter le biais spectral en RL.Nous présentons des expériences indiquant que ce prétraitement peut conduire à des améliorations significatives des performances, en termes de récompenses obtenues et de données utilisées.De plus, nous observons que ce prétraitement favorise une plus grande robustesse face aux hyperparamètres, conduit à l'élaboration de politiques plus régulières, et bénéficie au processus d'entraînement en réduisant l'interférence d'apprentissage, en encourageant l'apprentissage de caractéristiques distinctes et sparses (ou creuses), et en augmentant l'expressivité des caractéristiques apprises.
| Origine | Version validée par le jury (STAR) |
|---|