Employing Transformers and Humans for Textual-Claim Verification - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Employing Transformers and Humans for Textual-Claim Verification

Utilisation de transformateurs et d'humains pour la vérification de revendications textuelles

Mohammed Saeed
  • Fonction : Auteur
  • PersonId : 1196220
  • IdRef : 266364241

Résumé

Throughout the last years, there has been a surge in false news spreading across the public. Despite efforts made in alleviating "fake news", there remains a lot of ordeals when trying to build automated fact-checking systems, including the four we discuss in this thesis. First, it is not clear how to bridge the gap between input textual claims, which are to be verified, and structured data that is to be used for claim verification. We take a step in this direction by introducing Scrutinizer, a data-driven fact-checking system that translates textual claims to SQL queries, with the aid of a human-machine interaction component. Second, we enhance reasoning capabilities of pre-trained language models (PLMs) by introducing RuleBert, a PLM that is fine-tuned on data coming from logical rules. Third, PLMs store vast information; a key resource in fact-checking applications. Still, it is not clear how to efficiently access them. Several works try to address this limitation by searching for optimal prompts or relying on external data, but they do not put emphasis on the expected type of the output. For this, we propose Type Embeddings (TEs), additional input embeddings that encode the desired output type when querying PLMs. We discuss how to compute a TE, and provide several methods for analysis. We then show a boost in performance for the LAMA dataset and promising results for text detoxification. Finally, we analyze the BirdWatch program, a community-driven approach to fact-checking tweets. All in all, the work in this thesis aims at a better understanding of how machines and humans could aid in reinforcing and scaling manual fact-checking.
Au cours des dernières années, il y a eu une augmentation des fausses nouvelles. Malgré les efforts déployés pour atténuer les "fake news", il reste de nombreuses épreuves à surmonter lorsqu'on essaie de construire des systèmes de vérification automatique des faits, dont les quatre que nous abordons dans cette thèse. Tout d'abord, il n'est pas clair comment combler le fossé entre les affirmations textuelles en entrée, qui doivent être vérifiées, et les données structurées qui doivent être utilisées pour la vérification des affirmations. Nous faisons un pas dans cette direction en introduisant Scrutinizer, un système piloté par les données qui traduit les revendications textuelles en requêtes SQL, à l'aide d'un composant d'interaction homme-machine. Deuxièmement, nous améliorons les capacités de raisonnement des modèles de langage pré-entraînés (PLMs) en introduisant RuleBert, un PLM qui s'appuie sur des données provenant de règles logiques. Troisièmement, nous proposons des incorporations de type (TE), des incorporations d'entrée supplémentaires qui codent le type de sortie souhaité lors de l'interrogation des PLM. Nous expliquons comment calculer un TE et fournissons plusieurs méthodes d'analyse. Nous montrons ensuite une augmentation des performances pour le jeu de données LAMA et des résultats prometteurs pour la désintoxication de textes. Enfin, nous analysons le programme BirdWatch, une approche communautaire de la vérification des faits dans les tweets. Dans l'ensemble, le travail de cette thèse vise à mieux comprendre comment les machines et les humains pourraient aider à renforcer et à étendre la vérification manuelle des faits.
Fichier principal
Vignette du fichier
SAEED_Mohammed_these_2022.pdf (4.89 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03922010 , version 1 (04-01-2023)

Identifiants

  • HAL Id : tel-03922010 , version 1

Citer

Mohammed Saeed. Employing Transformers and Humans for Textual-Claim Verification. Computer Aided Engineering. Sorbonne Université, 2022. English. ⟨NNT : 2022SORUS285⟩. ⟨tel-03922010⟩
156 Consultations
157 Téléchargements

Partager

Gmail Facebook X LinkedIn More