Reinforcement Learning Using Neural Networks, with Applications to Motor Control - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2002

Reinforcement Learning Using Neural Networks, with Applications to Motor Control

Apprentissage par renforcement utilisant des réseaux de neurones, avec des applications au contrôle moteur

Rémi Coulom
  • Fonction : Auteur

Résumé

This thesis is a study of practical methods to estimate value functions with feedforward neural networks in model-based reinforcement learning. Focus is placed on problems in continuous time and space, such as motor-control tasks. In this work, the continuous TD(lambda) algorithm is refined to handle situations with discontinuous states and controls, and the vario-eta algorithm is proposed as a simple but efficient method to perform gradient descent. The main contributions of this thesis are experimental successes that clearly indicate the potential of feedforward neural networks to estimate high-dimensional value functions. Linear function approximators have been often preferred in reinforcement learning, but successful value function estimations in previous works are restricted to mechanical systems with very few degrees of freedom. The method presented in this thesis was tested successfully on an original task of learning to swim by a simulated articulated robot, with 4 control variables and 12 independent state variables, which is significantly more complex than problems that have been solved with linear function approximators so far.
Cette thèse est une étude de méthodes permettant d'estimer des fonctions valeur avec des réseaux de neurones feedforward dans l'apprentissage par renforcement. Elle traite plus particulièrement de problèmes en temps et en espace continus, tels que les tâches de contrôle moteur. Dans ce travail, l'algorithme TD(lambda) continu est perfectionné pour traiter des situations avec des états et des commandes discontinus, et l'algorithme vario-eta est proposé pour effectuer la descente de gradient de manière efficace. Les contributions essentielles de cette thèse sont des succès expérimentaux qui indiquent clairement le potentiel des réseaux de neurones feedforward pour estimer des fonctions valeur en dimension élevée. Les approximateurs de fonctions linéaires sont souvent préférés dans l'apprentissage par renforcement, mais l'estimation de fonctions valeur dans les travaux précédents se limite à des systèmes mécaniques avec très peu de degrés de liberté. La méthode présentée dans cette thèse a été appliquée avec succès sur une tâche originale d'apprentissage de la natation par un robot articulé simulé, avec 4 variables de commande et 12 variables d'état indépendantes, ce qui est sensiblement plus complexe que les problèmes qui ont été résolus avec des approximateurs de fonction linéaires.
Fichier principal
Vignette du fichier
tel-00003985.pdf (1.17 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00003985 , version 1 (16-12-2003)

Identifiants

  • HAL Id : tel-00003985 , version 1

Citer

Rémi Coulom. Reinforcement Learning Using Neural Networks, with Applications to Motor Control. Other [cs.OH]. Institut National Polytechnique de Grenoble - INPG, 2002. English. ⟨NNT : ⟩. ⟨tel-00003985⟩

Collections

UGA IMAG CNRS
1672 Consultations
2372 Téléchargements

Partager

Gmail Facebook X LinkedIn More