Thèse Année : 2025

Information extraction from social networks through text/image representation learning : Application to natural disaster management

Extraction d'Informations dans les réseaux sociaux par apprentissage de représentations textes/images : application à la gestion des catastrophes naturelles

Résumé

With the increasing use of social media, platforms like Twitter have become pivotal for real-time crisis information. Posts on these platforms serve as critical data sources for situational awareness and emergency response. To efficiently exploit this information, previous works have focused on developing automated methods to filter and categorize social media posts, primarily processing either text or images (unimodal data). The present work aims to integrate both images and text from tweets by fusing information from both modalities. Firstly, this thesis explores multiple unimodal encoders with various fusion techniques, along with a deep analysis of multimodal crisis tweets, highlighting the uniqueness of multimodal tweets in terms of modality relations. Secondly, it introduces a caption-based method that translates images into a text-compatible representation space through captioning, allowing for more efficient fusion and thus achieving better and more robust performance. This method also supports hybrid usage, enabling the model to function in both unimodal and multimodal settings without compromising performance. Our experiments revealed the presence of a well-known problem in multimodal learning, namely modality imbalance, where one modality dominates the learning process. We tackle this issue with a data-driven method that adapts to the learning dynamics and allows the dominated modality to catch up. In addition to methodological advancements, this thesis introduces M-CATNAT, a French multimodal dataset that fills a linguistic and multimodal gap in crisis-related resources. M-CATNAT provides detailed annotations for text, images, and combined content, offering a nuanced foundation for French multimodal crisis-related tweet processing.

L'essor des réseaux sociaux, comme Twitter, a rendu ces plateformes essentielles pour diffuser des informations en temps réel lors de crises. Des méthodes automatisées de filtrage et de catégorisation de ces publications, basées sur le texte ou les images, ont été développées pour exploiter ces données. Ce travail propose d'intégrer simultanément texte et images des tweets, en fusionnant ces deux modalités. Dans un premier temps, cette thèse explore l'utilisation de plusieurs encodeurs unimodaux et techniques de fusion, tout en procédant à une analyse des tweets afin de mieux comprendre les relations entre les modalités visuelle et textuelle. Cette thèse introduit ensuite une méthode qui convertit les images dans un espace de représentation compatible avec le texte, rendant ainsi la fusion des deux modalités plus efficace et améliorant la robustesse et la performance du modèle. Cette approche est également hybride, permettant au modèle de traiter aussi bien des tweets unimodaux que multimodaux. Cette étude met en évidence un problème courant en apprentissage multimodal : le déséquilibre des modalités, où l'une d'elles domine le processus d'apprentissage. Une méthode d'adaptation a été proposée pour réguler cette dynamique et permettre une progression d'apprentissage plus équilibrée entre les modalités. En plus des avancées méthodologiques, cette thèse présente M-CATNAT, un jeu de données multimodal français qui comble un manque linguistique et multimodal dans les ressources liées aux crises. M-CATNAT offre des annotations détaillées pour le texte, les images et le contenu combiné, fournissant une base pour le traitement des tweets de crise multimodaux en français.

Fichier principal
Vignette du fichier
2025ORLE1015_va.pdf (15.47 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-05280546 , version 1 (24-09-2025)

Licence

Identifiants

  • HAL Id : tel-05280546 , version 1

Citer

Badreddine Farah. Information extraction from social networks through text/image representation learning : Application to natural disaster management. Social and Information Networks [cs.SI]. Université d'Orléans, 2025. English. ⟨NNT : 2025ORLE1015⟩. ⟨tel-05280546⟩
206 Consultations
138 Téléchargements

Partager

  • More