Facing Data Scarcity in Dialogues for Discourse Structure Discovery and Prediction - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Facing Data Scarcity in Dialogues for Discourse Structure Discovery and Prediction

Détecter et prédire la structure du discours dans les dialogues face à la rareté des données

Chuyuan Li
  • Fonction : Auteur
  • PersonId : 1287597
  • IdRef : 272195499

Résumé

A document is more than a random combination of sentences. It is, instead, a cohesive entity where sentences interact with each other to create a coherent structure and convey specific communicative goals. The field of discourse examines the sentence organization within a document, aiming to reveal its underlying structural information. Discourse analysis plays a crucial role in Natural Language Processing (NLP) and has demonstrated its usefulness in various downstream applications like summarization and question answering. Existing research efforts have focused on automatically extracting discourse structures through tasks such as discourse relation identification and discourse parsing. However, these data-driven methods have predominantly been applied to monologue scenarios, leading to limited availability and generalizability of discourse parsers for dialogues. In this thesis, we address this challenging problem: discourse analysis in dialogues, which presents unique difficulties due to the scarcity of suitable annotated data.We approach discourse analysis along two research lines: “Discourse Feature Discovery” and “Discourse Structure Prediction”. In the first research line, we conduct experiments to investigate linguistic markers, both lexical and non-lexical, in text classification tasks. We are particularly interested in the context of mental disorder identification since it reflects a realistic scenario. To address the issue of data sparsity, we propose techniques for enhancing data representation and feature engineering. Our results demonstrate that non-lexical and discourse-level (even though shallow) features are reliable indicators in developing more general and robust classifiers. In the second research line, our objective is to directly predict the discourse structure of a given document. We adopt the Segmented Discourse Representation Theory (SDRT) framework, which represents a document as a graph. The task of extracting this graph-like structure using machine learning techniques is commonly known as discourse parsing. Taking inspiration from recent studies that investigate the inner workings of Transformer-based models (“BERTology”'), we leverage discourse information encoded in Pre-trained Language Models (PLMs) such as Bidirectional Encoder Representations from Transformers (BERT) and propose innovative extraction methods that require minimal supervision. Our discourse parsing approach involves two steps: first, we predict the discourse structure, and then we identify the relations within the structure. This two-stage process allows for a comprehensive analysis of the parser's performance at each stage. Using self-supervised learning strategies, our parser achieves encouraging results for the full parsing. We conduct extensive analyses to evaluate the parser's performance across different discourse structures and propose directions for future improvements.
Un document est plus qu'une combinaison aléatoire de phrases. Il s'agit plutôt d'une entité cohésive où les phrases interagissent les unes avec les autres pour créer une structure cohérente et transmettre des objectifs de communication spécifiques. Le domaine du discours examine l'organisation des phrases au sein d'un document, dans le but de révéler les informations structurelles sous-jacentes. L'analyse du discours joue un rôle crucial dans le Traitement Automatique des Langues (TAL) et a démontré son utilité dans diverses applications telles que le résumé et la question-réponse. Les efforts de recherche existants se sont concentrés sur l'extraction automatique des structures du discours à travers des tâches telles que l'identification des relations du discours et l'analyse du discours (discourse parsing). Cependant, ces méthodes axées sur les données ont été principalement appliquées à des scénarios de monologues, ce qui a conduit à une disponibilité et une généralisation limitées des analyseurs de discours pour les dialogues. Dans cette thèse, nous abordons ce problème difficile en raison de la rareté des données annotées : l'analyse du discours dans les dialogues. Nous abordons l'analyse du discours selon deux axes de recherche : la "découverte des traits du discours" et la "prédiction de la structure du discours". Dans la première ligne de recherche, nous menons des expériences pour étudier les marqueurs linguistiques, à la fois lexicaux et non lexicaux, dans les tâches de classification de texte. Nous nous intéressons particulièrement au contexte de l'identification des troubles mentaux car il reflète un scénario réaliste. Pour résoudre le problème de la rareté des données, nous proposons des techniques pour améliorer la représentation des données et l'ingénierie des traits. Nos résultats démontrent que les traits non lexicaux et au niveau du discours (même s'ils sont surfaciques) sont des indicateurs fiables pour développer des classificateurs plus généraux et plus robustes. Dans le deuxième axe de recherche, notre objectif est de prédire directement la structure du discours d'un document. Nous adoptons le cadre de la théorie Segmented Discourse Representation Theory (SDRT), qui représente un document sous la forme d'un graphe. L'extraction de cette structure graphique à l'aide de techniques d'apprentissage automatique est communément appelée "discourse parsing". En s'inspirant des études récentes portant sur le fonctionnement interne des modèles basés sur Transformer ("BERTology"), nous exploitons les informations discursives encodées dans les modèles de langage pré-entraînés (PLMs) tels que les Bidirectional Encoder Representations from Transformers (modèle BERT) et proposons des méthodes d'extraction innovantes qui nécessitent un minimum de supervision. Notre approche de l'analyse du discours comporte deux étapes : tout d'abord, nous prédisons la structure du discours, puis nous identifions les relations au sein de la structure. Ce processus en deux étapes permet une analyse complète des performances de l'analyseur à chaque étape. En utilisant des stratégies d'apprentissage auto-supervisé, notre analyseur obtient des résultats encourageants dans l'analyse complète du discours. Nous effectuons des analyses approfondies pour évaluer les performances de l'analyseur dans différentes structures de discours et proposons des pistes d'amélioration pour l'avenir.
Fichier principal
Vignette du fichier
DDOC_T_2023_0107_LI.pdf (6.65 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04218515 , version 1 (26-09-2023)

Identifiants

  • HAL Id : tel-04218515 , version 1

Citer

Chuyuan Li. Facing Data Scarcity in Dialogues for Discourse Structure Discovery and Prediction. Machine Learning [cs.LG]. Université de Lorraine, 2023. English. ⟨NNT : 2023LORR0107⟩. ⟨tel-04218515⟩
103 Consultations
63 Téléchargements

Partager

Gmail Facebook X LinkedIn More