Learning increasingly complex skills through deep reinforcement learning using intrinsic motivation
Apprentissage de compétences de plus en plus complexes via l'apprentissage profond par renforcement en utilisant la motivation intrinsèque
Résumé
In reinforcement learning (RL), an agent learns to solve a task by interacting with its environment. In order to scale these RL agents on high-dimensional complex tasks, recent methods successfully proposed to integrate deep learning methods in RL, creating the field of deep RL (DRL). However, the semantic meaning of a task still derives from an expert reward function that guide the agent in its learning process. This paradigm contrasts with how animals and humans learn: psychology suggests that humans are intrinsically motivated to autonomously acquire knowledge about their environment. In this dissertation, our objective is to investigate how intrinsic motivation can solve the issues experienced by DRL algorithms. First of all, we stress out how intrinsic motivations currently address some issues of DRL algorithms. We classify them, analyze the current limitations of these methods. To highlight their importance, we emphasize that these deadlocks may prevent an agent to learn both increasing complex skills and environment representations. These are key elements to make autonomous agent learn in a more human-like way. Following this analysis, we introduce two new models that can learn diverse and task-specific skills in an end-to-end way. The first one, ELSIM, builds a discrete tree of skills in the direction of the feedbacks of the environment. Our results show that this learning paradigm favors exploration in sparse-rewards environments and allows to reuse skills over different correlated tasks. We highlight the drawbacks of ELSIM and propose a novel model, DisTop, that tackle them. It progressively builds a discrete topology of the environment using an unsupervised contrastive loss, a self-organizing network and a goal-conditioned policy. Then, DisTop can smartly control which skill to improve or forget. This way, DisTop competes with state-of-art algorithms on three different benchmarks, including a hierarchical environment with sparse rewards. To conclude the dissertation, we discuss the outlooks of the domain and future directions for research.
En apprentissage par renforcement (RL), un agent apprend à résoudre une tâche en interagissant avec son environnement. Afin de faire passer à l’échelle ces agents sur des tâches complexes, les méthodes récentes ont proposé avec succès d’intégrer les méthodes d’apprentissage profond au RL, créant le domaine d’apprentissage profond par renforcement (DRL). Cependant, la signification sémantique d’une tâche est toujours pourvue par une fonction de récompense experte qui guide l’agent dans son processus d’apprentissage. Ce paradigme contraste avec la manière dont les animaux et humains apprennent: les travaux de psychologie suggèrent que les humains sont intrinsèquement motivés à acquérir de nouvelles connaissances à propos de leur environnement. Dans cette thèse, notre objectif est d’étudier comment la motivation intrinsèque permet de résoudre les problèmes expérimentés par le DRL. Tout d’abord, nous mettons en évidence comment les motivations intrinsèques actuelles attaquent certains problèmes du DRL. Nous classifions et formalisons les méthodes, puis analysons leurs limites. Afin d’exhiber leur importance, nous mettons en avant que ces verrous peuvent empêcher un agent d’apprendre des compétences et représentations de l’environnement de plus en plus complexes. Ce sont des éléments-clés pour faire apprendre des agents autonomes comme des humains. Á partir de cette analyse, nous introduisons deux nouveaux modèles qui peuvent apprendre des compétences diverses et spécifiques à une tâche de bout en bout. Le premier, ELSIM, construit un arbre discret de compétences dans la direction des récompenses de l’environnement. Nos résultats montrent que ce paradigme d’apprentissage améliore l’exploration dans des environnements avec des récompenses éparses et permet d’utiliser des compétences sur différentes tâches corrélées. Nous mettons en avant les inconvénients d’ELSIM et proposons un autre modèle, DisTop, pour les corriger. DisTop construit progressivement une topologie de l’environnement en utilisant une fonction de coût contrastive, un réseau auto-organisé et une politique dépendante d’objectifs. L’agent peut alors intelligemment contrôler quelles compétences apprendre ou oublier. De cette manière, DisTop est compétitif avec des algorithmes de l’état de l’art sur trois types de tâches différentes, incluant une tâche hiérarchique avec des récompenses éparses. Pour conclure la thèse, nous discutons des perspectives du domaines et des directions futures de notre recherche.
Domaines
Apprentissage [cs.LG]| Origine | Version validée par le jury (STAR) |
|---|