Few-Shot Intent Classification in User-Generated Short Texts : Application to Conversational Agents - Archive ouverte HAL Access content directly
Theses Year : 2021

Few-Shot Intent Classification in User-Generated Short Texts : Application to Conversational Agents

Classification d’intentions de requêtes générées par utilisateurs en régime «few-shot» : Application aux agents conversationnels

Thomas Dopierre
  • Function : Author
  • PersonId : 1149776
  • IdRef : 263575012

Abstract

To classify user intents, a rigorous annotation must be conducted. In order to overcome the problem of lack of annotated data, we use few-shot classification methods.In a first step, this thesis focuses on a new comparison of few-shot classification methods. The methods were compared with different text encoders, which led to a biased comparison. When each method is equipped with the same transform-based sentence encoder (BERT), older few-shot classification methods take over.Next, we study pseudo-labeling, i.e. the automatic assignment of pseudo-labels to unlabeled data. In this context, we introduce a new pseudo-labeling method inspired by hierarchical clustering. Our method does not use any hyper-parameter and knows how to ignore unlabeled examples that would be too far from the known distribution. We will also show that it is complementary to other existing methods.As a final contribution, we introduce ProtAugment, a meta-learning architecture for the intention detection problem. This new extension trains the model to retrieve the original sentence based on prototypes computed from paraphrases. We will also introduce our own method for generating paraphrases, and see that the way these paraphrases are generated plays an important role.All the code used to run the experiments presented in this thesis is available on my github account (https://github.com/tdopierre/).
Pour classifier des intentions utilisateurs, une annotation rigoureuse doit être menée. Afin de palier au problème du manque de données annotées, nous avons recours au méthodes de classification "few-shot".Dans un premier temps, cette thèse se concentre sur une nouvelle comparaison des méthodes de classification "few-shot". Les méthodes étaient comparées avec des encodeurs de textes différents, ce qui amenait à une comparaison biaisée. Lorsqu'on équipe chaque méthode du même encodeur de phrase basé sur un transformer (BERT), des méthodes de classification few-shot plus anciennent reprennent le dessus.Ensuite, nous étudions le pseudo-labeling, c'est à dire l'attribution automatique des pseudo-labels à des données non annontées. Dans ce cadre, nous introduisons une nouvelle méthode de pseudo-labeling inspirée du clustering hiérarchique. Notre méthode, dépourvue de tout hyper-paramètre, sait ignorer les exemples non labelisés qui se trouveraient trop éloignés de la distribution connue. Nous démontrerons également qu'elle est complémentaire aux autres méthodes existantes.En guise de dernière contribution, nous introduisons ProtAugment, une architecture de méta-apprentissage pour le problème de détection d’intention. Cette nouvelle extension entraîne le modèle à retrouver la phrase originale sur la base des prototypes calculés à partir de paraphrases. Nous introduirons également notre propre méthode pour générer des paraphrases, et verrons que la façon dont sont générées ces paraphrases joue un rôle important.Tout le code utilisé pour exécuter les expériences présentées dans cette thèse est disponible sur mon compte github (https://github.com/tdopierre/).
Fichier principal
Vignette du fichier
These-Dopierre-Thomas-2021.pdf (20.98 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03722690 , version 1 (13-07-2022)

Identifiers

  • HAL Id : tel-03722690 , version 1

Cite

Thomas Dopierre. Few-Shot Intent Classification in User-Generated Short Texts : Application to Conversational Agents. Computation and Language [cs.CL]. Université de Lyon, 2021. English. ⟨NNT : 2021LYSES044⟩. ⟨tel-03722690⟩
50 View
9 Download

Share

Gmail Facebook Twitter LinkedIn More