Issues and methods for the creation of corpora in under-resourced languages applied to the classification of texts for learning Burmese.
Enjeux et méthodes pour la création de corpus en langues peu dotées. Application à la classification de textes pour l’apprentissage du birman.
Résumé
Finding reading material suitable for learners of less commonly taught languages is a common issue, both for learners and teachers. Natural language processing offers promising methods to facilitate the selection process. Since their implementation requires language specific training corpora, and such languages are also less well-resourced, corpus quality is even more important. We have found it necessary to take in to account not only the particularities of the language and how its writing system is computerised, but also the context of how the corpus is to be used, considering aspects such as orthography, studies in linguistics and lexicography, cultural aspects and even the teaching tradition, as students are probably more influenced by existing resources when they are scarce. This thesis looks at the application of a method for text evaluation for learners of Burmese as a foreign language. We detail the creation of two types of corpora: authentic texts and didactic resources, using the second type to inform how the authentic texts are segmented into minimal units of analysis or “words”, a necessary pretreatment as Burmese does not delimit words with spaces. We also take into account cultural aspects and ngram syllable frequency in training a dictionary-based segmentation tool. The authentic text corpora are then used to create a general lexical frequency list, using the averaged reduced frequency method to account for dispersion. This list is then used to create a support vector machine to order texts by increasing difficulty using solely lexical data, a method that is promising for less-resourced languages.
Trouver du matériel de lecture adapté aux apprenants de langues peu enseignées est un problème courant, tant pour les apprenants que pour les enseignants. Le traitement automatique offre des méthodes prometteuses pour faciliter ce processus. Comme leur mise en œuvre nécessite des corpus d’entraînement spécifiques à la langue, et que ces langues sont également peu dotées, la qualité des corpus est encore plus importante. Il nous a semblé nécessaire de considérer les particularités de la langue et de l’informatisation de son système d’écriture et le contexte d’utilisation du corpus, les études en linguistique et en lexicographie, les aspects culturels et même la tradition d’enseignement, car les apprenants sont probablement davantage influencés par les ressources existantes lorsqu’elles sont peu nombreuses. Cette thèse porte sur une méthode d’évaluation lexicale de textes pour le birman langue étrangère. D’abord la création de deux types de corpus : des textes authentiques et des ressources didactiques, ce dernier renseignant comment segmenter en unités minimales d’analyse ou « mots », prétraitement nécessaire car le birman ne les délimite pas par des espaces. Nous prenons également en compte les aspects culturels et la fréquence conjointe des syllabes dans l’entraînement d’un outil de segmentation. Les textes authentiques sont utilisés pour créer une liste de fréquences lexicales, utilisant la méthode de la fréquence réduite moyenne pour tenir compte de la dispersion. Cette liste est utilisée pour entraîner une SVM afin de classer les textes par difficulté croissante, méthode purement lexicale et prometteuse pour les langues peu dotées.
| Origine | Version validée par le jury (STAR) |
|---|