Semantic-based approaches to enhance sentiment analysis quality - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Semantic-based approaches to enhance sentiment analysis quality

La qualité de données dans l'analyse de sentiments : défis et solutions

Wissam Mammar Kouadri
  • Fonction : Auteur
  • PersonId : 1369640
  • IdRef : 276711483

Résumé

The opinion expressed on various websites and social media is crucial to several organizations' decision-making processes. Sentiment analysis, a.k.a. opinion mining, is a process that involves automatically identifying the polarity of an opinion in the text (e.g., Positive/Neutral/Negative). However, despite the advance of research, sentiment analysis tools provide inconsistent polarities, harmful to business decisions. In this PhD work, we focus on studying the inconsistencies of sentiment analysis tools as a data quality issue. First, we carried out an in-depth empirical assessment of the quality of the sentiment analysis tool. Our evaluation involves two types of inconsistency: intra-tool inconsistency, which predicts different polarity for semantically equivalent documents by the same tool, and inter-tool inconsistency, which predicts different polarity for semantically equivalent documents across different tools. Then, we introduce SAQ, a novel tool based on the Markov logic network that fixes both types of inconsistencies. Furthermore, through an empirical study, we investigate the impact of resolving inconsistency on tools' accuracy. Our results are promising and point to the improvement obtained by resolving both intra-tool and inter-tool inconsistency. Further, we propose WSSA, a semantic-based weakly-supervised approach for sentiment analysis that aggregates labels from several weak sources. The aggregation process in WSSA is based on probabilistic soft logic reasoning that we enhance by a new learning procedure. In addition to resolving the two types of inconsistencies, it involves domain expert knowledge that guides the aggregation and preference order between documents established based on their subjectivity. The experimental evaluation has proved the efficiency of WSSA in polarity classification.
L’analyse de sentiments est le processus d’extraction de la polarité d’un texte. Malgré les avancées de la recherche réalisées dans ce domaine, cette tâche reste difficile à cause de la richesse du langage naturel et la dépendance de la polarité au contexte. En effet, nos expérimentations ont montré que les outils d’analyse de sentiment présentent des incohérences et manquent de qualité de prédiction. Nous avons observé sur des données réelles, que les différents algorithmes d’analyse de sentiment attribuent des différentes polarités au même texte (ex : tweet). Ainsi, deux tweets sémantiquement équivalents sont classifiés différemment par le même algorithme. Ceci est traduit par (1) des incohérences entre algorithmes : deux algorithmes donnent des sorties différentes pour la même entrée, (2) des incohérences intra algorithme : l’algorithme donne des résultats différents pour des entrées sémantiquement équivalentes. Motivé par ces observations, les travaux de recherche dans le domaine de l'apprentissage automatique contradictoire (adversarial machine learning) et l’analyse de sentiment, le travail de thèse consiste à quantifier le phénomène des incohérences dans les outils d’analyse du sentiment, déterminer les causes et les facteurs responsables de ses incohérences, puis proposer une méthode qui résout ses incohérences et enfin étudier l’effet de résoudre les incohérences sur la précision. En se basant sur les résultats des études effectuées, nous proposons une méthode d’analyse de sentiment par supervision faible. La première partie de la thèse est consacrée à étudier le phénomène d’incohérence intra et inter-algorithmes dans les outils d’analyses de sentiment via une étude empirique extensive sur plusieurs axes (statistique, structurel et sémantique), pour déterminer les causes et les facteurs qui vont influencer sur les incohérences, ainsi que la création d’un benchmark de test et la proposition d’une heuristique pour affiner sa qualité. Nos résultats ont montré que les incohérences sont fréquentes dans toutes les catégories d’algorithmes d’analyse de sentiment. La deuxième partie est dédiée à la proposition d'une méthode pour résoudre les deux types d’incohérences intra et inter- algorithmes et d’étudier l’effet de la résolution de ces incohérences sur la précision. Pour cela, nous avons développé SAQ, une méthode basée sur la logique probabiliste de Markov (MLN) qui fusionne les étiquettes prévenant de différents algorithmes en résolvant les deux types d’incohérences et améliore la précision. Nous avons étudié l’efficacité de SAQ et nous l'avons comparé à des méthodes de résolution d’incohérence dans le crowdsourcing sur plusieurs corpus de données. Nos résultats montrent que résoudre les deux types d'incohérence améliore la précision. Motivés par nos résultats et l’amélioration de la précision obtenue par la résolution des incohérences, dans la troisième partie de thèse, nous avons proposé WSSA, une méthode d’analyse de sentiment basée sur le paradigme de la classification faible (weak supervision), qui consiste à considérer plusieurs outils d’analyse de sentiment comme source d'étiquettes faibles, puis réduit les incohérences entre ces algorithmes en proposant un algorithme itératif qui permet de classer les algorithmes selon leurs pondérations et inférer la polarité optimale du système en utilisant des mécanismes d'inférence logique probabiliste sur la base du modèle Probabilistic Soft Logic.
Fichier principal
Vignette du fichier
Mammar-Kouadri_Wissam_va.pdf (2.2 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04527111 , version 1 (29-03-2024)

Identifiants

  • HAL Id : tel-04527111 , version 1

Citer

Wissam Mammar Kouadri. Semantic-based approaches to enhance sentiment analysis quality. Artificial Intelligence [cs.AI]. Université Paris Cité, 2021. English. ⟨NNT : 2021UNIP5210⟩. ⟨tel-04527111⟩
3 Consultations
2 Téléchargements

Partager

Gmail Facebook X LinkedIn More