Unsupervised Pretraining of State Representations in a Rewardless Environment - Archive ouverte HAL Access content directly
Theses Year : 2021

Unsupervised Pretraining of State Representations in a Rewardless Environment

Pré-entraînement non Supervisé de Représentations d'État dans un Environnement sans Récompense

(1)
1

Abstract

This thesis seeks to extend the capabilities of state representation learning (SRL) to help scale deep reinforcement learning (DRL) algorithms to continuous control tasks with high-dimensional sensory observations (such as images). SRL allows to improve the performance of DRL by providing it with better inputs than the input embeddings learned from scratch with end-to-end strategies. Specifically, this thesis addresses the problem of performing state estimation in the manner of deep unsupervised pretraining of state representations without reward. These representations must verify certain properties to allow for the correct application of bootstrapping and other decision making mechanisms common to supervised learning, that we will seek to achieve through the models pretrained with the two SRL algorithms proposed in this thesis.
Cette thèse vise à étendre les capacités de l'apprentissage de représentation d'état (state representation learning, SRL) afin d'aider la mise à l'échelle des algorithmes d'apprentissage par renforcement profond (deep reinforcement learning, DRL) aux tâches de contrôle continu avec des observations sensorielles à haute dimension (en particulier des images). Le SRL permet d'améliorer les performances des algorithmes de DRL en leur transmettant de meilleures entrées que celles apprises à partir de zéro avec des stratégies de bout-en-bout. Plus précisément, cette thèse aborde le problème de l'estimation d'état à la manière d'un pré-entraînement profond non supervisé de représentations d'état sans récompense. Ces représentations doivent vérifier certaines propriétés pour permettre l'application correcte du bootstrapping et d'autres mécanismes de prises de décisions communs à l'apprentissage supervisé, que nous chercherons à réaliser à travers les modèles pré-entraînés avec les deux algorithmes de SRL proposés dans cette thèse.
Fichier principal
Vignette du fichier
merckling_phd_thesis_2021.pdf (5.96 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

tel-03562230 , version 1 (08-02-2022)

Identifiers

  • HAL Id : tel-03562230 , version 1

Cite

Astrid Merckling. Unsupervised Pretraining of State Representations in a Rewardless Environment. Machine Learning [cs.LG]. ISIR, Université Pierre et Marie Curie UMR CNRS 7222, 2021. English. ⟨NNT : ⟩. ⟨tel-03562230⟩
54 View
68 Download

Share

Gmail Facebook Twitter LinkedIn More