Neural Approaches to Historical Word Reconstruction
Approches Neuronales pour la Reconstruction de Mots Historiques
Abstract
In historical linguistics, cognates are words that descend in direct line from a common ancestor, called their proto-form, and
therefore are representative of their respective languages evolutions through time, as well as of the relations between these
languages synchronically. As they reflect the phonetic history of the languages they belong to, they allow linguists to better
determine all manners of synchronic and diachronic linguistic relations (etymology, phylogeny, sound correspondences).
Cognates of related languages tend to be linked through systematic phonetic correspondence patterns, which neural
networks could well learn to model, being especially good at learning latent patterns. In this dissertation, we seek to
methodically study the applicability of machine translation inspired neural networks to historical word prediction, relying
on the surface similarity of both tasks. We first create an artificial dataset inspired by the phonetic and phonotactic rules of
Romance languages, which allow us to vary task complexity and data size in a controlled environment, therefore identifying
if and under which conditions neural networks were applicable. We then extend our work to real datasets (after having
updated an etymological database to gather a correct amount of data), study the transferability of our conclusions to
real data, then the applicability of a number of data augmentation techniques to the task, to try to mitigate low-resource
situations. We finally investigat in more detail our best models, multilingual neural networks. We first confirm that, on
the surface, they seem to capture language relatedness information and phonetic similarity, confirming prior work. We
then discover, by probing them, that the information they store is actually more complex: our multilingual models actually
encode a phonetic language model, and learn enough latent historical information to allow decoders to reconstruct the
(unseen) proto-form of the studied languages as well or better than bilingual models trained specifically on the task. This
latent information is likely the explanation for the success of multilingual methods in the previous works
En linguistique historique, les cognats sont des mots qui descendent en ligne directe d'un ancêtre commun, leur proto-
forme, et qui sont ainsi représentatifs de l'évolution de leurs langues respectives à travers le temps. Comme ils portent en
eux l'histoire phonétique des langues auxquelles ils appartiennent, ils permettent aux linguistes de mieux déterminer toutes
sortes de relations linguistiques synchroniques et diachroniques (étymologie, phylogénie, correspondances phonétiques).
Les cognats de langues apparentées sont liés par des correspondances phonétiques systématiques. Les réseaux de
neurones, particulièrement adaptés à l'apprentissage de motifs latents, semblent donc bien un bon outil pour modéliser
ces correspondances. Dans cette thèse, nous cherchons donc à étudier méthodiquement l'applicabilité de réseaux de
neurones spécifiques (inspirés de la traduction automatique) à la `prédiction de mots historiques', en nous appuyant
sur les similitudes entre ces deux tâches. Nous créons tout d'abord un jeu de données artificiel à partir des règles
phonétiques et phonotactiques des langues romanes, que nous utilisons pour étudier l'utilisation de nos réseaux en
situation controlée, et identifions ainsi sous quelles conditions les réseaux de neurones sont applicables à notre tâche
d'intérêt. Nous étendons ensuite notre travail à des données réelles (après avoir mis à jour une base étymologiques
pour obtenir d'avantage de données), étudions si nos conclusions précédentes leur sont applicables, puis s'il est possible
d'utiliser des techniques d'augmentation des données pour pallier aux manque de ressources de certaines situations.
Enfin, nous analysons plus en détail nos meilleurs modèles, les réseaux neuronaux multilingues. Nous confirmons à
partir de leurs résultats bruts qu'ils semblent capturer des informations de parenté linguistique et de similarité phonétique,
ce qui confirme des travaux antérieurs. Nous découvrons ensuite en les sondant (probing) que les informations qu'ils
stockent sont en fait plus complexes : nos modèles multilingues encodent en fait un modèle phonétique de la langue, et
apprennent suffisamment d'informations diachroniques latentes pour permettre à des décodeurs de reconstruire la proto-
forme (non vue) des langues étudiées aussi bien, voire mieux, que des modèles bilingues entraînés spécifiquement sur
cette tâche. Ces informations latentes expliquent probablement le succès des méthodes multilingues dans les travaux
précédents.
Origin | Files produced by the author(s) |
---|