Epidemic Event Extraction in Multilingual and Low-resource Settings - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Epidemic Event Extraction in Multilingual and Low-resource Settings

Extraction d'événements épidémiologiques dans un contexte multilingue et peu doté

Stephen Mutuvi

Résumé

Epidemic event extraction aims to extract incidents of public health importance from text, such as disease outbreaks. Delayed detection and response to widespread outbreaks of infectious diseases could result in significant health, economic, and social impact. The task of extracting epidemic events from text involves finding documents containing events of interest and extracting epidemiological entities, including the disease name and location of the reported outbreak. While event extraction has been extensively researched for high-resource languages such as English, existing systems for epidemic event extraction are sub-optimal for low-resource, multilingual settings due to limited training data. In general, only a few corpora exist for training and evaluating multilingual epidemic event extraction models. In addition to data scarcity, inherent disparities between high-resource and low-resource languages in multilingual settings result in data imbalance, which poses challenges for extraction systems. Due to these peculiarities, only a few multilingual epidemic event extraction approaches exist, while approaches based on pre-trained language models remain unexplored. This research focused on addressing these challenges, which limit the extraction of epidemic events from multilingual news texts. First, after presenting in detail an extensive state of the art for both event extraction, in general, and epidemic event extraction, which constitutes the basis of this thesis, we tackle the data scarcity challenge. Thus, due to the lack of dedicated annotated datasets suitable for epidemic event extraction tasks, we transform an existing document-level dataset into a token-level annotated dataset suitable for supervised sequence learning. Native speakers of the respective languages were recruited to provide the annotations. The produced multilingual dataset comprises news articles from diverse languages, including low-resource languages with limited training data resources. Second, we formulate the event extraction task as a sequence labeling task and utilize the token-level annotated dataset to train supervised machine and deep learning models for epidemic event extraction. The results show that pre-trained language models, which have demonstrated outstanding performance in a variety of information extraction tasks, produced the best overall performance across all the evaluated languages. The proposed supervised learning approaches provide strong baselines for further epidemic event extraction research. Furthermore, we examine the impact of news document structure on model performance, taking into account the inverted pyramid style commonly used in journalistic writing. We observed that the lead paragraphs of news articles, considered to contain the most fundamental information, had the greatest influence on performance. Third, we propose a domain adaptation technique by including epidemiological entities in the vocabulary of Transformer-based pre-trained models. Domain adaptation through vocabulary expansion was found to be a viable approach for addressing the lack of annotated training data for epidemic event extraction in multilingual and low-resource settings. In particular, we observed that including epidemiological entities (disease names and locations) into the vocabulary of the tokenizers, which were not initially present in the generic datasets used to train the tokenizers, improved tokenization quality and ultimately contributed to model performance improvement. Finally, we evaluate self-training for epidemic event extraction and observe that the approach performs marginally better than models trained using supervised learning. This demonstrates the critical role that unlabeled data can play in achieving competitive performance while minimizing data annotation requirements. Further analysis revealed that noisy text has a negative impact on model performance and that eliminating the noise was critical for improving the performance of epidemic event extraction. Thus, we proposed a topic modeling approach for noise filtering that, contrary to our expectations, resulted in a slight decline in self-training performance, which we attributed to the preceding selection process.
L'extraction d'événements épidémiologiques vise à extraire d'un texte des incidents ayant une importance pour la santé publique, tels que les épidémies. Un retard dans la détection et la réponse à des épidémies de maladies infectieuses pourrait avoir un impact sanitaire, économique et social important. L'extraction d'événements épidémiologiques à partir de textes implique la recherche de documents contenant des événements d'intérêt et l'extraction d'entités épidémiologiques, notamment le nom de la maladie et le lieu de l'épidémie signalée. Alors que l'extraction d'événements a fait l'objet de recherches approfondies pour des langues à fortes ressources comme l'anglais, les systèmes existants d'extraction d'événements épidémiologiques n'offrent pas de résultats optimaux dans les contextes multilingues peu dotées en ressources en raison de la taille limitée des données d'apprentissage dans ces langues. En général, seuls quelques corpus existent pour l'entraînement et l'évaluation des modèles multilingues d'extraction d'événements épidémiologiques. Outre la rareté des données, les disparités inhérentes entre les langues à ressources élevées et les langues à faibles ressources dans les environnements multilingues entraînent un déséquilibre des données, ce qui pose des problèmes aux systèmes d'extraction automatique. En raison de ces particularités, il n'existe que quelques approches multilingues d'extraction d'événements épidémiologiques, tandis que les approches basées sur des modèles de langue pré-entraînés restent peu explorées. Dans cette recherche, nous nous sommes donc attaché à relever les défis, qui limitent l'extraction d'événements épidémiologiques à partir de textes multilingues. Tout d'abord, après avoir présenté un état de l'art pour l'extraction d'événements, en général, et pour l'extraction d'événements épidémiologiques en particulier, qui constitue la base de cette thèse, nous nous attaquons au défi de la rareté des données. Ainsi, en raison du manque d'ensembles de données annotées dédiées aux tâche d'extraction d'événements épidémiologiques, nous transformons un ensemble de données existantes au niveau des documents en un ensemble de données annotées au niveau des \textit{tokens}, adapté à l'apprentissage supervisé à partir de séquences. Des locuteurs natifs des différentes langues traitées ont été recrutés pour fournir les annotations. Le jeu de données multilingue ainsi produit comprend des articles de presse dans diverses langues, en particulier des langues peu dotées (c'est-à-dire des langues pour lesquelles la quantité de données d'entraînement sera plus limitée que pour d'autres). Ensuite, nous avons proposé de traiter la tâche d'extraction d'événements comme une tâche d'étiquetage de séquences et utilisé l'ensemble de données annotées au niveau des \textit{tokens} pour entraîner des modèles supervisés d'apprentissage automatique et d'apprentissage profond. Les résultats montrent que les modèles de langue pré-entraînés, qui ont démontré des performances exceptionnelles dans une variété de tâches d'extraction d'informations, ont produit la meilleure performance globale dans toutes les langues évaluées. Les approches d'apprentissage supervisé proposées constituent des bases solides pour de futures recherches sur l'extraction d'événements épidémiologiques. En outre, nous examinons l'impact de la structure des documents sur les performances du modèle, en tenant compte du style dit de \og pyramide inversée\fg couramment utilisé dans les écrits journalistiques dans un nombre très important de langues. Nous avons observé que les paragraphes de tête des articles de presse, correspondant à la notion journalistique de \og chapeau\fg et considérés comme contenant les informations fondamentales, avaient la plus grande influence sur les performances des systèmes automatiques. Troisièmement, nous proposons une technique d'adaptation au domaine en incluant des entités épidémiologiques dans le vocabulaire des modèles pré-entraînés basés sur les Transformer. L'adaptation du domaine par l'expansion du vocabulaire s'est avérée être une approche viable pour remédier au manque de données d'entraînement annotées pour l'extraction d'événements épidémiologiques dans des contextes multilingues et peu dotées. En particulier, nous avons observé que l'inclusion d'entités épidémiologiques (noms de maladies et lieux) dans le vocabulaire des tokenizers, entités absentes des jeux de données génériques utilisés pour l'entraînement les tokéniseurs, a amélioré la qualité de la tokenisation et a finalement contribué à l'amélioration des performances des modèles. Enfin, nous avons évalué l'auto-apprentissage (\textit{self-training}) pour l'extraction d'événements épidémiologiques et observé que l'approche était légèrement plus performante que les modèles entraînés à l'aide de l'apprentissage supervisé. Cela a démontré le rôle essentiel que les données non étiquetées peuvent jouer pour obtenir des performances compétitives tout en minimisant les exigences d'annotation des données. Une analyse plus poussée a révélé que les textes bruités ont un impact négatif sur les performances du modèle et que l'élimination du bruit était essentielle pour améliorer les performances de l'extraction des événements épidémiologiques. Nous avons donc proposé une approche de modélisation thématique pour le filtrage du bruit qui, contrairement à nos attentes, a entraîné une légère baisse des performances de l'auto-apprentissage, que nous avons attribuée au processus de sélection précédent.
Fichier principal
Vignette du fichier
thesis.pdf (2.12 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03978917 , version 1 (01-03-2023)
tel-03978917 , version 2 (12-07-2023)

Identifiants

  • HAL Id : tel-03978917 , version 1

Citer

Stephen Mutuvi. Epidemic Event Extraction in Multilingual and Low-resource Settings. Computer Science [cs]. La Rochelle Université, 2022. English. ⟨NNT : ⟩. ⟨tel-03978917v1⟩
151 Consultations
150 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More