Exploring 19th-Century Literary Space using AI : Evaluation and Analysis of Spatial Named Entity Recognition Tools
Des IA au service de l'espace littéraire du XIXe siècle : évaluation et analyse des outils de reconnaissance d'entités nommées spatiales
Résumé
In fields related to the acquisition and enhancement of spatial data, geographic Named Entity Recognition (NER) can become an entry point for literary analysis. When NER is applied to literary text corpora, its results can be expressed, among other formats, as maps. The task of transcribing images (such as PDFs) into text, which is the first step in the processing chain for acquiring textual data and creating digital corpora, can be done manually or by using Optical Character Recognition (OCR) systems. While the use of an OCR system allows for much faster task execution compared to long and tedious manual entry, it is undeniable that OCR introduces transcription errors. These errors can involve noise or silence (addition, substitution, and deletion of characters). The same applies to manual transcriptions, where noise and silence can also be semantic in nature, with one term being replaced by another.Machine-generated errors can often be repetitive, which means that they can be modeled and automatically corrected in the outputs. However, when they are unique, implementing an effective automatic correction routine remains challenging. To overcome the issue of OCR transcription quality and obtain higher-quality texts, users implement cleaning strategies that are costly in both time and resources. Nevertheless, one might ask to what extent errors in spatial named entity recognition are truly attributable to data noise, and what impact this noise has on the subsequent uses of this data. In a user survey conducted among researchers in Digital Humanities and Natural Language Processing, we observed that many of them use uncorrected OCR transcriptions to “probe” their corpus and gain an initial overview of the major trends to analyze. However, do these corpora allow the examination of attested phenomena that can lead to viable scientific applications? We present an evaluation of various NER tools on raw OCR transcriptions. To assess the robustness of these NER tools, we compare the results on ten books, each comprising between 100 and 400 pages, (in their reference and OCR versions) from the French, English, and Portuguese collections of ELTeC - European Literary Text Collection. We demonstrate that a significant proportion of the errors are attributable to the models and not to the data, and, quite surprisingly, that certain entities are detected in noisy data even when they are misspelled. Thus, these interferences in NER, arising from silences and noise in corpus processing — where some named entities are not recognized, resulting in “silence,” and others are detected in error, introducing “noise” — are not merely inherent to the quality of the input data.While noise can be overcome (through various strategies such as correction, careful reading, etc.), silence results in the loss of information and remains an open issue regarding its impact on many potential future uses. This research aims to establish methods for evaluating NER systems on real-world data, meaning data as it is acquired by literary researchers, and focuses on finding strategies to assist users in the extraction and exploration of this data.
Dans les domaines liés à l'acquisition et à la valorisation des données spatiales, la reconnaissance d'entités nommées (REN ou en anglais NER pour Named Entity Recognition) géographiques peu devenir un point d'entrée à l'analyse littéraire. La tâche de REN appliquée à des corpus de texte littéraires, voit ses résultats s'exprimer, entre autres, sous forme de cartes. La tâche de transcription de l'image (PDF par exemple) en texte, qui est le premier maillon de la chaîne de traitement pour l'acquisition des données textuelles et la constitution des corpus numériques, peut être assurée manuellement ou par utilisation des systèmes de reconnaissance optique de caractère (OCR).Si l'utilisation d'un système OCR permet une plus grande rapidité d'exécution de la tâche, comparativement à une saisie manuelle longue et fastidieuse, force est de constater qu'elle est à l'origine d'erreurs de transcription. Il peut s'agir de bruit ou de silence (ajout, substitution et suppression de caractères). Il en va de même pour les transcriptions manuelles, le bruit et le silence pouvant aussi être de nature sémantique, un terme est remplacé par un autre. Ces erreurs produites par la machine peuvent être répétitives et donc modélisables et corrigeables automatiquement dans les sorties, mais lorsqu'elles sont singulières une routine de correction automatique efficace reste difficile à mettre en place. Pour pallier le problème lié à la qualité des transcriptions OCR et obtenir des textes de meilleure qualité, les utilisateurs mettent en place des stratégies, de nettoyage, coûteuses en temps et en moyen. Néanmoins, on peut se demander dans quelle mesure les erreurs dans la reconnaissance des entités nommées spatiales sont réellement imputables au bruitage des données, et quel est l'impact de ce bruit sur les usages consécutifs de ses données. Nous avons constaté au cours d'une enquête utilisateur menée auprès de chercheurs en Humanités Numériques ou en Traitement Automatique des Langues que nombre d'entre eux utilisent des transcriptions OCR non corrigées pour « sonder » leur corpus et avoir une première vision des grandes tendances à analyser. Mais, ces corpus permettent-ils d'examiner des phénomènes attestés qui donneront lieu à des applications scientifiques viables ? Nous présentons une évaluation de différents outils de REN sur des transcriptions OCR brutes. Afin d'évaluer la robustesse des outils de REN, nous comparons les résultats sur dix œuvres (dans leur version de référence et leur version OCR) issues des collections française, anglaise et portugaise d'ELTeC - European Literary Text Collection, comptant entre 100 et 400 pages chacune. Nous montrons qu'une proportion non négligeable des erreurs est imputable aux modèles, et non aux données, et que, de façon très étonnante, certaines entités sont détectées dans les données bruitées, même lorsqu'elles sont mal orthographiées. Ainsi, ces interférences dans la REN, qui découlent des silences et bruits dans les exploitations des corpus -- certaines entités nommées ne sont pas reconnues, amenant donc du « silence », d'autres sont détectées par erreur, apportant du « bruit » -- ne sont pas simplement inhérentes à la qualité des données en entrée. Si le bruit peut être dépassé (selon plusieurs stratégies : correction, lecture attentive, etc.), le silence fait disparaître de l'information et reste un problème ouvert quant à son impact sur bon nombre d'utilisations postérieures potentielles. Ces travaux de recherches s'appliquent à établir des méthodes pour l'évaluation des systèmes de REN sur des données du monde réel, c'est à dire des données telles que les chercheurs en littérature les acquiers, et s'attache à trouver des stratégies pour assister l'utilisateur i ce dans l'extraction et l'exploration de ces données.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
