Approches multimodales d'apprentissage automatique pour la détection des rumeurs dans les microblogs - Thèses Lyon 2 Accéder directement au contenu
Thèse Année : 2022

Multimodal Machine Learning Approaches for Rumor Detection in Microblogs

Approches multimodales d'apprentissage automatique pour la détection des rumeurs dans les microblogs

Résumé

The ubiquitous nature and popularity of social media platforms results in the generation of a large amount of multimedia data. The openness and ease of sharing on these platforms promotes the dissemination of information without necessarily considering its veracity. Without any means of verification and analysis of the content exchanged, rumors can seriously affect the credibility of these platforms and lead to disastrous consequences in real life.The objective of this thesis is to propose solutions to the problem of automatic classification of the veracity of rumors in microblogging sites. Based on the rich and diverse content provided by these platforms, we consider several features of the messages, including text, social context, sentiment and images to analyze their veracity. We propose a framework for multimodal feature fusion that relies on several machine learning models for message veracity assessment, as well as its implementation in the MONITOR (Multimodal Fusion Framework to Assess Message Veracity in Social Networks) framework. The originality of this work lies in the use of image quality indicators as characteristics of images to be used in a rumor detection context.To improve the performance of MONITOR, we also exploit the ensemble learning, a paradigm that has been little explored in the field of rumor classification. We propose several meta-learning algorithms using MONITOR's individual models as base models. Still with the idea of improving the performance of rumor classification, we propose a multimodal model called deepMONITOR, based on deep neural networks, which are shown to be capable of efficiently learning text and image representations. The contribution of this work concerns particularly the integration of images and sentiment analysis in multimodal learningFinally, to address the problem of scarce datasets available for multimodal rumor detection, we built DAT@Z21, a large multimedia dataset from the Twitter microblog, with labels based on ground truth collected from a fact checking site. This dataset is shared in compliance with current regulations. The experiments we conducted using various datasets, including DAT@Z21, demonstrate the relevance of our proposals. Indeed, MONITOR and deepMONITOR achieve the best performances compared to recent state-of-the-art methods.
La nature ubiquitaire et la popularité des plateformes de médias sociaux entraînent la génération d’une grande quantité de données multimédia. L’ouverture et la facilité de partage sur ces plateformes favorisent la diffusion de l’information sans nécessairement tenir compte de sa véracité. Sans moyen de vérification et d’analyse du contenu échangé, les rumeurs peuvent affecter sérieusement la crédibilité de ces plateformes et engendrer des conséquences désastreuses dans la vie réelle. L’objectif de cette thèse est de proposer des solutions au problème de la classification automatique de la véracité des rumeurs dans les sites de microblogging. En se basant sur le contenu riche et de nature diverse fourni par ces plateformes nous considérons plusieurs caractéristiques des messages, notamment le texte, le contexte social, les sentiments et les images pour analyser leur véracité.Nous proposons un cadre pour la fusion multimodale de caractéristiques qui s’appuie sur plusieurs modèles d’apprentissage automatique pour l’évaluation de la véracité des messages, ainsi que son implémentation dans le framework MONITOR (Multimodal Fusion Framework to Assess Message Veracity in Social Networks). L’originalité de ce travail réside notamment dans le recours à des indicateurs de qualité d’image comme caractéristiques des images pour qu’ils soient utilisés dans un contexte de détection de rumeurs.Afin d’améliorer les performances de MONITOR, nous exploitons également l’apprentissage ensembliste, un paradigme très peu exploré dans le domaine de la classification des rumeurs. Nous proposons plusieurs algorithmes de meta-learning en utilisant les modèles individuels de MONITOR comme modèles de base. Toujours avec l’idée d’améliorer la performance de la classification des rumeurs, nous proposons un modèle multimodal appelé deepMONITOR, basé sur les réseaux de neurones profonds, qui se révèlent capables d’apprendre efficacement des représentations de textes et d’images. L’apport de ce travail concerne particulièrement l’intégration des images et de l’analyse de sentiments dans l’apprentissage multimodal. Enfin, pour répondre au problème du peu de jeux de données disponibles pour la détection multimodale des rumeurs, nous avons construit DAT@Z21, un jeu de données multimédia volumineux issues de Twitter, avec un étiquetage qui s’appuie sur une vérité terrain collectée à partir d’un site de fact checking. Ce jeu de données est partagé en respectant la réglementation en vigueur. Les expériences que nous avons menées à l’aide de divers jeux de données, dont DAT@Z21, démontrent la pertinence de nos propositions. En effet, MONITOR et deepMONITOR réalisent les meilleures performances en les comparant avec les méthodes récentes de l’état de l’art.
Fichier principal
Vignette du fichier
these_internet_azri_a.pdf (26.44 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03968440 , version 1 (01-02-2023)

Identifiants

  • HAL Id : tel-03968440 , version 1

Citer

Abderrazek Azri. Approches multimodales d'apprentissage automatique pour la détection des rumeurs dans les microblogs. Autre [cs.OH]. Université de Lyon, 2022. Français. ⟨NNT : 2022LYSE2034⟩. ⟨tel-03968440⟩
142 Consultations
53 Téléchargements

Partager

Gmail Facebook X LinkedIn More