Models and algorithms for automatic text simplification
Modèles et algorithmes de simplification automatique de textes
Résumé
The goal of this thesis is to contribute to automatic text simplification methods. Specifically, the objective is to build complexity measures (binary classifier for simple vs. complex texts) and contribute to the development of predictive language models (similar to those used in the well-known chatbot ChatGPT). To achieve this, we focus on entropy methods used in NLP, which we reinterpret in terms of generalized empirical likelihood, and the behavior of Hotelling's statistic in high-dimensional settings. This statistic naturally arises in such problems and enables mean testing in high dimensions (when the dimension of the parameters exceeds the number of observations). For this, we propose a penalized estimator and an optimal choice for the penalty coefficient. We also briefly discuss neural network models in the NLP domain. Then we summarize the performance of a series of deep learning architectures on a Wikipedia corpus for the construction of a complexity measure and for automatic text simplification.This interdisciplinary project in applied mathematics and linguistics aims to shed light on automatic text simplification problems, potentially assisting individuals with hearing impairments in overcoming difficulties. The work cover various fields (statistics, linguistics, computer science) and possesses a highly multidisciplinary nature.
Le but de la thèse est de contribuer aux méthodes de simplification automatique du texte. Plus précisément, il s’agit de construire des mesures de complexité (classifieur binaire de textes simples vs textes complexes) et de contribuer au développement de modèles de langage prédictif (comme ceux utilisés dans le désormais célèbre chatbot ChatGPT). Pour ce faire, nous nous sommes intéressés aux méthodes d’entropie utilisées en NLP (que nous réinterprétons en terme de vraisemblance empirique généralisée) et au comportement de la statistique de Hotelling en grande dimension. Cette statistique apparaı̂t naturellement dans ce type de problème et permet d’effectuer des tests de moyenne en grande dimension (c’est-à-dire lorsque la dimension des paramètres dépasse le nombre d’observations). Pour cela, nous proposons un estimateur pénalisé et un choix optimal pour le coefficient de pénalité. Nous discutons également brièvement des modèles de réseaux neuronaux dans le domaine du traitement automatique du langage naturel. Nous résumons ensuite les performances d'une série d'architectures d'apprentissage profond sur un corpus Wikipédia pour la construction d'une mesure de complexité et pour la simplification automatique de textes.L’objectif de ce projet transversal de mathématiques appliquées et de linguistique est d’apporter un éclairage aux problèmes de simplification automatique de texte, ce qui potentiellement pourrait à termes aider les personnes ayant une déficience auditive à faire face aux difficultés rencontrées. Les travaux sont situés dans des champs variés (statistique, linguistique, informatique) et revêt un caractère fortement pluridisciplinaire.
Fichier principal
2023PA100049.pdf (4.37 Mo)
Télécharger le fichier
Fichier principal
2023PA100049_Resume.pdf (378.92 Ko)
Télécharger le fichier
| Origine | Version validée par le jury (STAR) |
|---|
| Origine | Version validée par le jury (STAR) |
|---|