Fine grained classification of polarized and propagandist text in news articles and political debates
Classification fine de textes polarisés et de propagande issus d’articles d'actualité et de débats politiques
Résumé
In recent years, disinformation has become more viral, mainly due to its spread online on social media, leading to potential threatening consequences for the society. Heterogeneous forms of online disinformation are possible, i.e., deliberately manipulated or fabricated content with the intentional aim of creating conspiracy theories, rumours, or misbehaved stances and judgements, for instance, in news articles, and political discourse and debates. One of many instances of online disinformation, and certainly one of the most dangerous ones, is propaganda. This disinformation instance represents an effective but often misleading communication strategy which is employed to promote a certain viewpoint to the audience, for instance in the political context. The need to effectively and automatically identify, classify and understand such phenomenon is becoming a urgent need. In this thesis, I tackle this issue and I propose a fine-grained classification approach of polarized and propagandist text in news articles and political debates. More precisely, as the audience' perceptions are perceived differently depending on the context, the source of information, the audience background and preferences, a discussed topic can deviate or polarize the audience into a partisanship. This thesis firstly investigates such polarization given a use-case in a political scenario using Aspects-Based Sentiment Analysis to verify how extensively these methods can be employed to gain insights from the political posts on social media. The thesis discusses the design and evaluation of a number of techniques in extracting the main features of propagandist text in the area of Natural Language Processing (NLP) where sentiment analysis, persuasion techniques, message simplicity, and ultimately argumentation are proposed and thoroughly investigated. The findings in this thesis show that such features can capture particular characteristics of propaganda in texts. Furthermore, these features are employed to tackle the NLP tasks of propaganda detection and classification through the design and implementation of a neural architecture to classify fine-grained propaganda techniques. The work in this thesis goes beyond the state-of-the-art of current systems for fine-grained propaganda detection and classification. Various Machine Learning approaches ranging from feature-based logistic regression to recent neural architectures have been experimented on standard benchmarks in propaganda detection. As a result, a full pipeline in propaganda detection and classification is presented where the task of detecting the propagandist text snippets obtained .71 F1-score, and the transformer-based architecture obtained an average of .67 F1-score for the task of propaganda technique classification, outperforming the state-of-the-art systems. This pipeline is demonstrated with a proof-of-concept tool called PROTECT. Finally, as a last contribution of this thesis, I carried out the creation of a new annotated linguistic resource. This resource is annotated with 6 types of propaganda techniques, which breaks down into 14 sub-categories of propaganda in the political debates of the US presidential campaigns from 1960 to 2016. The data set I built contains 1666 instances of propagandist text.
La désinformation, dont la propagation s’est accentuée par le biais des médias sociaux, suscite aujourd’hui une réelle menace pour la société. Il existe différents moyens de véhiculer de la désinformation, par exemple par le biais de contenus délibérément manipulés ou fabriqués dans le but de créer des théories conspirationnistes, de rumeurs ou encore de positions et jugements erronés, tels que l’on peut en rencontrer dans des articles d'actualité, discours et débats politiques. L'une des nombreuses formes de désinformation rencontrée en ligne, et certainement l'une des plus dangereuses, est la propagande. Ce type de désinformation, que l’on retrouve notamment en politique, représente une stratégie de communication efficace mais souvent trompeuse utilisée pour promouvoir un certain point de vue auprès du public. La nécessité d'identifier, de classifier et de comprendre efficacement et automatiquement ce type de phénomène devient pressant. Dans cette thèse, j'aborde cette question et je propose une approche de classification fine des textes polarisés et de propagande issus d’articles de presse et de débats politiques. Selon le sujet abordé, le contexte, la source d'information, les antécédents et les préférences constituent un panel de facteurs pouvant influer sur les perceptions de l’auditoire et donc conduire à sa déviation ou polarisation en faveur d’un parti. À partir d’un cas d’utilisation provenant d’un scénario politique, nous proposons d’explorer les impacts d’une telle polarisation par le biais de méthodes issues de l’analyse de sentiment basée sur des aspects. L’objectif étant de vérifier dans quelle mesure ces méthodes peuvent permettre d’obtenir des informations sur les messages politiques postés sur les médias sociaux. Plus particulièrement, la thèse traite de la conception et de l'évaluation d'un certain nombre de techniques d'extraction des principales caractéristiques des textes de propagande dans le domaine du Traitement Automatique du Langage Naturel (TALN). L'analyse de sentiment, les techniques de persuasion, la simplicité des messages et l'argumentation y sont notamment proposées et étudiées en profondeur. Les résultats de cette thèse montrent que ces caractéristiques peuvent capturer des propriétés particulières permettant de caractériser la propagande dans les textes. D’autre part, ces caractéristiques sont employées dans le cadre de la conception et l'implémentation d'une architecture neuronale ayant pour vocation à détecter et classifier les techniques de propagande à grain fin. Le travail proposé dans cette thèse va au-delà de l'état de l'art des systèmes actuels de détection et de classification de la propagande à grain fin. En effet, plusieurs approches d'apprentissage automatique, allant de la régression logistique à des architectures neuronales récentes, ont été testées sur des jeux de données standard de détection de la propagande. En conséquence, un pipeline complet de détection et de classification de la propagande est présenté. La tâche de détection des extraits de textes de propagande a obtenu un score F1 de 0,71, et l'architecture basée sur les transformateurs a obtenu une moyenne de 0,67 pour la tâche de classification des techniques de propagande, surpassant ainsi les systèmes de pointe. Ce pipeline est démontré avec un outil de preuve de concept appelé PROTECT. Enfin, comme dernière contribution de cette thèse, j'ai participé à la création d'une nouvelle ressource linguistique annotée. Composée de textes issus des débats politiques des campagnes présidentielles américaines de 1960 à 2016, cette ressource est annotée avec 6 types de techniques de propagande qui se décomposent en 14 sous-catégories de propagande. L'ensemble de données que j'ai construit contient 1666 instances de propagande.
| Origine | Version validée par le jury (STAR) |
|---|