Linguistic Generalization in Transformer-Based Neural Language Models - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Linguistic Generalization in Transformer-Based Neural Language Models

La Généralisation Linguistique dans les Modèles de Langage Neuronaux basés sur des Transformeurs

Karim Lasri
  • Fonction : Auteur
  • PersonId : 1174054

Résumé

Neural language models are commonly deployed to perform diverse natural language processing tasks, as they produce contextual vector representations of words and sentences which can be used in any supervised learning setting. In recent years, transformer-based neural architectures have been widely adopted towards this end. After being pre-trained with a generic language modeling objective, they achieve spectacular performance on a wide array of downstream tasks, several of which should in principle require knowledge of sentence structure. As these models are not explicitly supervised with any grammatical instruction, this suggests that linguistic knowledge emerges during the pre-training stage. The nature of the linguistic abilities acquired during training is still scarcely understood, as these models are generally used as black boxes. Their decisions are hard to interpret, as they generally possess a great number of parameters (up to $10^{12}$ for the most recent architectures) and learn very complex functions. These observations led to the emergence of a growing body of research aimed at uncovering the linguistic abilities of such models. While this literature is very abundant, the epistemic grounds of the different methodologies are not translatable into each other, which underlines the need to formulate more clearly the questions addressing the capture of linguistic knowledge. To this end, we identify the different stances on the greater problem: in addition to downstream performance, evidence for a trained model’s linguistic abilities can be sought in its components, representations and surface behavior. Throughout the thesis, we attempt bridging the epistemic gap between these facets by formulating explicitly the relations which lie between these different subproblems. In particular, we adopt three levels of analysis to understand neural language models as information processing systems, from the highest to the deepest: the behavioral level, the algorithmic level, and the implementational level. In our framework, our departing point to investigate linguistic abilities is surface linguistic generalization. The empirical portion of this thesis first presents behavioral tests targeting a syntactic ability, to investigate the nature of the information processed at the algorithmic level - in particular we provide evidence for the entanglement between syntactic and semantic processes. We then show that behavioral tests can be limited to inform us on the nature of the information processed by the model. In particular, we provide evidence that surface behavior on a structure-sensitive task can be approximated to a good extent without relying on word order. Faced with this observation, we make the case for targeted causal interventions, and investigate a neural language model’s reliance on position information on the masked language modeling task. In doing so, we show that the model increasingly relies on word order as the number of masked tokens increases during training. We also demonstrate the power of causal interventions to assess the usage of targeted information. We then discuss how causal interventions, coupled with targeted behavior tests, can inform us on the model’s linguistic abilities at the three levels mentioned previously. Indeed, the introduced framework allows us to (i) find the neural substrate responsible for representing or transferring linguistic information, (ii) assess the presence of certain representations or operations at the algorithmic level and (iii) determine the causal influence of these representations and operations over the model’s behavior. We discuss how this analysis can be performed and apply the methodology introduced to shed light on the encoding and usage of grammatical number information on the subject-verb agreement task. In doing so, we bridge the gap between representation-oriented and behavior-oriented analyses of linguistic knowledge.
Les modèles de langage neuronaux basés sur des transformeurs sont couramment déployés pour effectuer diverses tâches de traitement automatique des langues, car ils produisent des représentations vectorielles de textes qui peuvent être utilisées dans le cadre d’un apprentissage supervisé. Après avoir été pré-entraînés comme modèles de langage génériques, ils atteignent des performances spectaculaires sur un large éventail de tâches, dont plusieurs nécessitent en principe des connaissances sur la structure des phrases. Ces modèles ne sont pas explicitement supervisés avec la moindre instruction grammaticale, ce qui suggère que ces connaissances émergent pendant la phase de pré-entraînement. La nature des capacités acquises est peu comprise, car ces modèles sont généralement utilisés comme des boîtes noires. Leurs décisions sont en outre difficiles à interpréter, en raison de leur grand nombre de paramètres (jusqu'à $10^{12}$ pour les architectures les plus récentes) et de la complexité des fonctions apprises. De ce constat a émergé un nombre important de travaux de recherche visant à mieux comprendre les capacités linguistiques de ces modèles. Bien que cette littérature soit abondante, les paradigmes épistémologiques sous-tendant les différentes méthodologies ne sont pas compatibles entre eux, ce qui souligne la nécessité de formuler plus clairement les questions portant sur l’acquisition des connaissances linguistiques. Tout au long de la thèse, nous tentons de combler le fossé épistémique entre ces facettes en formulant explicitement les relations qui lient les approches existantes. En particulier, nous adoptons trois niveaux d'analyse pour comprendre les modèles de langage neuronaux en tant que systèmes de traitement de l'information, du plus haut au plus profond : le niveau comportemental, le niveau algorithmique et le niveau de l'implémentation. La partie expérimentale de cette thèse introduit d’abord des tests comportementaux évaluant le niveau d'abstraction syntaxique, afin d'étudier la nature des informations traitées au niveau algorithmique - en particulier nous mettons en évidence l'intrication entre les processus syntaxiques et sémantiques. Nous montrons ensuite que les tests comportementaux sont limités pour nous renseigner sur la nature de l'information traitée par le modèle. En particulier, nous montrons que les prédictions sur une tâche dépendant de la structure des phrases peuvent être approximées sans faire usage d’information sur l'ordre des mots. Face à ce problème, nous soulignons la nécessité de réaliser des interventions causales et nous étudions l’utilisation de l’information positionnelle par un modèle de langage neuronal. Nous prouvons que le modèle s'appuie graduellement sur l'ordre des mots à mesure que le nombre de mots masqués au cours de l’entraînement augmente. Nous démontrons également le pouvoir explicatif des interventions causales pour évaluer l'utilisation d’information de manière ciblée et non équivoque. Nous montrons ensuite comment les interventions causales, couplées à des tests de comportement, peuvent nous renseigner sur les représentations linguistiques du modèle aux trois niveaux mentionnés précédemment. Le cadre introduit permet (i) de mettre en évidence le substrat neuronal responsable de la représentation et du transfert d’information linguistique, (ii) d'évaluer la présence de représentations et d’opérations au niveau algorithmique et (iii) de déterminer l'influence causale de ces dernières sur le comportement du modèle. Nous appliquons ensuite la méthodologie introduite pour mettre en lumière l'encodage et l'utilisation de l'information sur le nombre grammatical dans le cadre d’une tâche d'accord sujet-verbe. Ainsi, nous comblons le fossé entre les études sur les capacités d'abstraction linguistique focalisées sur les représentations du modèle et celles axées sur son comportement de surface.
Fichier principal
Vignette du fichier
PhD_Manuscript_Karim_LASRI.pdf (16.99 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04507040 , version 1 (15-03-2024)

Identifiants

  • HAL Id : tel-04507040 , version 1

Citer

Karim Lasri. Linguistic Generalization in Transformer-Based Neural Language Models. Linguistics. Ecole Normale Superieure de Paris - ENS Paris; Universita di Pisa, 2023. English. ⟨NNT : ⟩. ⟨tel-04507040⟩
3 Consultations
1 Téléchargements

Partager

Gmail Facebook X LinkedIn More