Reinforcement learning for Dialogue Systems optimization with user adaptation.
Apprentissage par Renforcement pour l'optimisation des systèmes de dialogue via l'adaptation à l'utilisateur.
Résumé
The most powerful artificial intelligence systems are now based on learned statistical
models. In order to build efficient models, these systems must collect a huge amount
of data on their environment. Personal assistants, smart-homes, voice-servers and other
dialogue applications are no exceptions to this statement. A specificity of those systems is
that they are designed to interact with humans, and as a consequence, their training data
has to be collected from interactions with these humans. As the number of interactions
with a single person is often too scarce to train a proper model, the usual approach to
maximise the amount of data consists in mixing data collected with different users into a
single corpus.
However, one limitation of this approach is that, by construction, the trained models
are only efficient with an "average" human and do not include any sort of adaptation; this
lack of adaptation makes the service unusable for some specific group of persons and
leads to a restricted customers base and inclusiveness problems. This thesis proposes
solutions to construct Dialogue Systems that are robust to this problem by combining
Transfer Learning and Reinforcement Learning. It explores two main ideas:
The first idea of this thesis consists in incorporating adaptation in the very first dialogues
with a new user. To that extend, we use the knowledge gathered with previous users. But
how to scale such systems with a growing database of user interactions? The first proposed
approach involves clustering of Dialogue Systems (tailored for their respective user)
based on their behaviours. We demonstrated through handcrafted and real user-models
experiments how this method improves the dialogue quality for new and unknown users.
The second approach extends the Deep Q-learning algorithm with a continuous transfer
process.
The second idea states that before using a dedicated Dialogue System, the first in-
teractions with a user should be handled carefully by a safe Dialogue System common
to all users. The underlying approach is divided in two steps. The first step consists in
learning a safe strategy through Reinforcement Learning. To that extent, we introduced a
budgeted Reinforcement Learning framework for continuous state space and the underlying
extensions of classic Reinforcement Learning algorithms. In particular, the safe version of
the Fitted-Q algorithm has been validated, in term of safety and efficiency, on a dialogue
system tasks and an autonomous driving problem. The second step consists in using those
safe strategies when facing new users; this method is an extension of the classic ε-greedy
algorithm.
Les systèmes d’intelligence artificielle les plus puissants utilisent désormais des modèles
statistiques. Afin de construire des modèles efficaces, ces systèmes doivent collecter une
quantité substantielle de données issues de l’environnement. Les assistants personnels,
maisons connectées, serveurs vocaux et autres systèmes de dialogue ne font pas exception.
Ces systèmes ont pour vocation d’interagir avec des humains, et pour cela, leurs données
d’apprentissage se doivent d’être collectées avec ces mêmes humains. Parce que le nombre
d’interactions avec une seule personne est assez faible, l’approche usuelle pour augmenter
le jeu de données consiste à agréger les données de tous les utilisateurs.
Une des limitations de cette approche vient du fait que, par construction, les mod-
èles entraînés ainsi ne sont efficaces qu’avec un humain "moyen" et n’incluent pas de
système d’adaptation ; cette faiblesse entraîne la restriction du service à certains groupes
de personnes; Par conséquent, cela réduit l’ensemble des utilisateurs et provoque des
problèmes d’inclusion. La présente thèse propose des solutions impliquant la construction
de systèmes de dialogue combinant l’apprentissage par transfert et l’apprentissage par
renforcement. La thèse explore deux pistes de recherche :
La première consiste à inclure un mécanisme d’adaptation dès les premières interac-
tions avec un nouvel utilisateur. Pour ce faire, nous utilisons la connaissance accumulée
avec des utilisateurs déjà connus du système. La question sous-jacente est la suivante :
comment gérer l’évolution du système suite à une croissance interrompue d’utilisateurs
et donc de connaissance? La première approche implique le clustering des systèmes
de dialogue (chacun étant spécialisé pour un utilisateur) en fonction de leurs stratégies.
Nous démontrons que la méthode améliore la qualité des dialogues en interagissant avec
des modèles à base de règles et des modèles d’humains. La seconde approche propose
d’inclure un mécanisme d’apprentissage par transfert dans l’exécution d’un algorithme
d’apprentissage profond par renforcement, Deep Q-learning.
La seconde piste avance l’idée selon laquelle les premières interactions avec un nouvel
utilisateur devraient être gérées par un système de dialogue sécurisé et précautionneux
avant d’utiliser un système de dialogue spécialisé. L’approche se divise en deux étapes.
La première étape consiste à apprendre une stratégie sécurisée avec de l’apprentissage par
renforcement. À cet effet, nous proposons un nouveau framework d’apprentissage par
renforcement sous contrainte en états continus ainsi que des algorithmes les solutionnant.
En particulier, nous validons, en termes de sécurité et d’efficacité, une extension de Fitted-
Q pour les deux applications sous contraintes : les systèmes de dialogue et la conduite
autonome. La deuxième étape implique l’utilisation de ces stratégies sécurisées lors des
premières interactions avec un nouvel utilisateur ; cette méthode est une extension de
l’algorithme classique d’exploration, ε-greedy
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...