Evaluation and Integration of Structural Knowledge for Pre-trained Language Models
Évaluation et intégration des connaissances structurelles pour modèles de langue pré-entraînés
Résumé
The field of knowledge representation is a constantly evolving domain. Thanks to recent advancements in deep neural networks, particularly the Transformer architecture, the natural language processing (NLP) field has been provided with groundbreaking tools leading to improved performance across multiple NLP tasks. Pre-trained language models (PLMs), such as BERT and GPT, which are Transformer-based models trained on extensive amounts of textual data, have played a significant role in this progress. PLMs can produce contextualized representations embedding rich syntactic and semantic patterns of language. However, they do not provide structured and factual knowledge representations, essential for a better understanding of language. To alleviate these issues, researchers explored combining classical PLMs with external knowledge resources, such as knowledge bases (KBs). This approach aims to complement PLMs by providing the missing structural and factual components inherently present in KBs. As a result, this approach has given rise to a new family of knowledge-enhanced PLMs (KEPLMs). In this thesis, we focus on integrating KBs into PLMs, with a particular interest in their structure or hierarchy. We explore different research directions towards enhancing these PLMs, which include (i) exploring the limitations and methods to implicitly integrate KBs and their impact on reasoning-based tasks and (ii) defining evaluation methodologies for explicit hierarchical signals for PLMs and their transferability to other NLP tasks. In a first contribution, we propose to revisit the training methods of PLMs for reasoning-based tasks. Current methods are limited to generalizing this task to different difficulty levels, treating each level as a separate task. Instead, we suggest an incremental learning reasoning approach, where reasoning is learned gradually from simple to complex difficulty levels. This approach takes advantage of previously overlooked components that do not participate in the main reasoning chain, and we evaluate whether it improves the generalization of this task. We use an implicit methodology that transforms structured information into unstructured text with rich hierarchical content. We further conducted experiments on reasoning-related tasks such as reading comprehension and question answering to assess the pertinence of our proposal. For our second contribution, we aim to improve the performance of PLMs by incorporating explicit hierarchical signals into them. While various evaluation and integration approaches have been developed for static word embeddings, there is limited exploration of these methods for contextualized word embeddings. The current evaluation methods for PLMs inherit limitations from static embedding evaluations, such as dataset biases and superficial hierarchical signals. Therefore, we propose a new evaluation methodology for PLMs that considers multiple hierarchy signals. Our work characterizes the hierarchical representation by decomposing it into basic hierarchical distributions that we call hierarchy properties. We evaluate the hierarchical knowledge present in state-of-the-art PLMs using these properties and analyze if learning them aims to improve inner hierarchical representations of the models and their applicability to related NLP tasks.
Le domaine de la représentation des connaissances est en constante évolution. Grâce aux récents progrès dans les réseaux neuronaux profonds, en particulier l'architecture Transformer, le domaine du traitement automatique du langage naturel (TALN) a été doté d'outils révolutionnaires conduisant à des performances améliorées sur de multiples tâches de TALN. Les modèles de langue pré-entraînés (PLM), tels que BERT et GPT, qui sont des modèles basés sur des Transformers entraînés sur d'importantes quantités de données textuelles, ont joué un rôle significatif dans ces avancées. Les PLMs peuvent produire des représentations contextualisées intégrant des motifs syntaxiques et sémantiques riches du langage. Cependant, ils ne fournissent pas de représentations structurées et factuelles des connaissances, essentielles pour une meilleure compréhension du langage. Pour remédier à ces problèmes, les chercheurs ont exploré la combinaison de PLMs classiques avec des ressources de connaissances externes, telles que les bases de connaissances (KB). Cette approche vise à compléter les PLMs en fournissant les composants structurels et factuels manquants inhérents aux KBs. En résulte l'émergence d'une nouvelle famille de PLM renforcés par la connaissance (KEPLM). Dans cette thèse, nous nous concentrons sur l'intégration des KBs dans les PLMs, avec un intérêt particulier pour leur structure ou hiérarchie. Nous explorons différentes orientations de recherche visant à améliorer ces PLMs, notamment (i) l'exploration des limitations et des méthodes pour intégrer implicitement les KBs et leur impact sur les tâches basées sur le raisonnement et (ii) la définition de méthodologies d'évaluation pour les signaux hiérarchiques explicites des PLMs et leur transférabilité à d'autres tâches de TALN. Dans une première contribution, nous proposons de revisiter les méthodes d'entraînement des PLMs pour les tâches basées sur le raisonnement. Les méthodes actuelles se limitent à généraliser cette tâche à différents niveaux de difficulté, traitant chaque niveau comme une tâche différente. Au lieu de cela, nous suggérons une approche incrémentielle d'apprentissage du raisonnement, où le raisonnement est appris progressivement, passant des niveaux de difficulté simples aux niveaux complexes. Cette approche tire parti de composants précédemment négligés qui ne participent pas à la chaîne de raisonnement principale, et nous évaluons si cela améliore la généralisation de cette tâche. Nous utilisons une méthodologie implicite qui transforme l'information structurée en texte non structuré avec un contenu taxonomique riche. Nous avons également mené des expériences sur des tâches liées au raisonnement, telles que la compréhension de lecture et la réponse aux questions, pour évaluer la pertinence de notre proposition. Pour notre deuxième contribution, nous visons à améliorer les performances des PLMs en incorporant des signaux hiérarchiques explicites en eux. Alors que diverses approches d'évaluation et d'intégration ont été développées pour les plongements lexicaux statiques, il y a une exploration limitée de ces méthodes pour les plongements lexicaux contextualisés. Les méthodes d'évaluation actuelles pour les PLMs héritent des limitations des évaluations des plongements statiques, telles que les biais des ensembles de données et les signaux hiérarchiques superficiels. Par conséquent, nous proposons une nouvelle méthodologie d'évaluation pour les PLMs qui prend en compte de multiples signaux hiérarchiques. Notre travail caractérise la représentation hiérarchique en la décomposant en distributions hiérarchiques de base que nous appelons propriétés hiérarchiques. Nous évaluons les connaissances hiérarchiques présentes dans les PLMs de pointe en utilisant ces propriétés et analysons si leur apprentissage vise à améliorer les représentations hiérarchiques internes des modèles et leur applicabilité aux tâches de TALN connexes.
| Origine | Version validée par le jury (STAR) |
|---|