Robust Neural Machine Translation of User-Generated Content
Traduction automatique neuronale robuste
Résumé
User-generated content (UGC), such as social media text, presents significant challenges for natural language processing (NLP) due to its lexical variability and deviation from standard language norms. While neural machine translation (NMT) and sentence embedding models have achieved remarkable progress, their robustness to UGC remains limited. This thesis explores methods to improve the machine translation of UGC, with a focus on using sentence embeddings. We first analyse the performance of standard NMT models on UGC, identifying key challenges such as the negative effect of UGC on tokenisation and the scarcity of parallel UGC translation data. To mitigate these issues, we propose data augmentation techniques to train more robust models. Additionally, we explore lexical normalisation to reduce non-standardness in UGC. We also introduce RoLASER, a robust sentence embedding model trained via a teacher-student approach, designed to improve alignment between standard and UGC text representations. Extending this work, we develop RoSONAR, an NMT system that uses robust sentence embeddings to enhance translation quality for UGC. Our results demonstrate that robust embeddings and data augmentation significantly improve NMT performance on UGC, closing the gap between standard and non-standard text translation. Furthermore, we conduct a case study on LLMs to analyse evaluation challenges in UGC translation. We show that applying the same translation guidelines used to create the datasets significantly improves LLM-generated translations, highlighting the importance of consistent evaluation practices.Overall, this work shows that by building more robust language models and improving both the training data and evaluation methods, we can make automatic translation systems much better at handling the non-standard, expressive, and creative language found in UGC.
L'essor du traitement automatique des langues (TAL) se vit dans un monde où l'on produit de plus en plus de contenus en ligne. En particulier sur les réseaux sociaux, les textes publiés par les internautes sont remplis de phénomènes non standard tels que les fautes d'orthographe, l'argot, les marques d'expressivité, etc. Ainsi, les modèles de TAL, en grande partie entraînés sur des données standard, voient leur performance diminuer lorsqu'ils sont appliqués aux contenus produits par les utilisateurs (ou UGC pour User-Generated Content). Cette thèse explore des méthodes pour améliorer la traduction automatique des UGC en s'appuyant sur des représentations vectorielles de phrases appelées « plongements » (embeddings) de phrases. Nous introduisons RoLASER, un modèle de plongements de phrases entraîné selon une approche professeur-élève pour mieux aligner les représentations textuelles standard et UGC, ainsi que RoSONAR, un modèle exploitant ces plongements de phrases robustes pour améliorer la traduction des UGC. Nos résultats montrent que des plongements robustes et l'augmentation de données améliorent significativement les performances de la traduction automatique neuronale sur les UGC, réduisant l'écart entre la traduction de textes standards et non standards. Par ailleurs, nous réalisons aussi une étude sur les grands modèles de langage (ou LLM pour Large Language Models) afin d'examiner les défis liés à l'évaluation de la traduction des UGC. Nous montrons qu'utiliser les mêmes directives de traduction que celles fournies aux annotateurs pour créer les jeux de données améliore considérablement les traductions générées par les LLM, soulignant ainsi l'importance de pratiques d'évaluation cohérentes. En conclusion, ce thèse montre que, en construisant des modèles de langue plus robustes et en améliorant à la fois les données d'entraînement et les méthodes d'évaluation, on peut rendre les systèmes de traduction automatique beaucoup plus efficaces pour traiter le langage non standard, expressif et créatif que l'on trouve dans les UGC.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
