Neural Approaches to Historical Words Reconstruction
Approches neuronales pour la reconstruction de mots historiques
Résumé
In historical linguistics, cognates are words that descend in direct line from a common ancestor, called their proto-form, and therefore are representative of their respective languages evolutions through time, as well as of the relations between these languages synchronically. As they reflect the phonetic history of the languages they belong to, they allow linguists to better determine all manners of synchronic and diachronic linguistic relations (etymology, phylogeny, sound correspondences). Cognates of related languages tend to be linked through systematic phonetic correspondence patterns, which neural networks could well learn to model, being especially good at learning latent patterns. In this dissertation, we seek to methodically study the applicability of machine translation inspired neural networks to historical word prediction, relying on the surface similarity of both tasks. We first create an artificial dataset inspired by the phonetic and phonotactic rules of Romance languages, which allow us to vary task complexity and data size in a controlled environment, therefore identifying if and under which conditions neural networks were applicable. We then extend our work to real datasets (after having updated an etymological database to gather a correct amount of data), study the transferability of our conclusions to real data, then the applicability of a number of data augmentation techniques to the task, to try to mitigate low-resource situations. We finally investigat in more detail our best models, multilingual neural networks. We first confirm that, on the surface, they seem to capture language relatedness information and phonetic similarity, confirming prior work. We then discover, by probing them, that the information they store is actually more complex: our multilingual models actually encode a phonetic language model, and learn enough latent historical information to allow decoders to reconstruct the (unseen) proto-form of the studied languages as well or better than bilingual models trained specifically on the task. This latent information is likely the explanation for the success of multilingual methods in the previous works.
En linguistique historique, les cognats sont des mots qui descendent en ligne directe d'un ancêtre commun, leur proto-forme, et qui sont ainsi représentatifs de l'évolution de leurs langues respectives à travers le temps. Comme ils portent en eux l'histoire phonétique des langues auxquelles ils appartiennent, ils permettent aux linguistes de mieux déterminer toutes sortes de relations linguistiques synchroniques et diachroniques (étymologie, phylogénie, correspondances phonétiques). Les cognats de langues apparentées sont liés par des correspondances phonétiques systématiques. Les réseaux de neurones, particulièrement adaptés à l'apprentissage de motifs latents, semblent donc bien un bon outil pour modéliser ces correspondances. Dans cette thèse, nous cherchons donc à étudier méthodiquement l'applicabilité de réseaux de neurones spécifiques (inspirés de la traduction automatique) à la `prédiction de mots historiques', en nous appuyant sur les similitudes entre ces deux tâches. Nous créons tout d'abord un jeu de données artificiel à partir des règles phonétiques et phonotactiques des langues romanes, que nous utilisons pour étudier l'utilisation de nos réseaux en situation controlée, et identifions ainsi sous quelles conditions les réseaux de neurones sont applicables à notre tâche d'intérêt. Nous étendons ensuite notre travail à des données réelles (après avoir mis à jour une base étymologiques pour obtenir d'avantage de données), étudions si nos conclusions précédentes leur sont applicables, puis s'il est possible d'utiliser des techniques d'augmentation des données pour pallier aux manque de ressources de certaines situations. Enfin, nous analysons plus en détail nos meilleurs modèles, les réseaux neuronaux multilingues. Nous confirmons à partir de leurs résultats bruts qu'ils semblent capturer des informations de parenté linguistique et de similarité phonétique, ce qui confirme des travaux antérieurs. Nous découvrons ensuite en les sondant (probing) que les informations qu'ils stockent sont en fait plus complexes : nos modèles multilingues encodent en fait un modèle phonétique de la langue, et apprennent suffisamment d'informations diachroniques latentes pour permettre à des décodeurs de reconstruire la proto-forme (non vue) des langues étudiées aussi bien, voire mieux, que des modèles bilingues entraînés spécifiquement sur cette tâche. Ces informations latentes expliquent probablement le succès des méthodes multilingues dans les travaux précédents.
| Origine | Version validée par le jury (STAR) |
|---|