Cross Lingual Semantic Textual Similarity Detection : towards Cross-Language Plagiarism Detection
Similarités Textuelles Sémantiques Translingues : vers la Détection Automatique du Plagiat par Traduction
Résumé
The massive amount of documents through the Internet (e.g. web pages, data warehouses and
digital or transcribed texts) makes easier the recycling of ideas. Unfortunately, this phenomenon
is accompanied by an increase of plagiarism cases. Indeed, claim ownership of content, without
the consent of its author and without crediting its source, and present it as new and original, is
considered as plagiarism. In addition, the expansion of the Internet, which facilitates access to
documents throughout the world (written in foreign languages) as well as increasingly efficient
(and freely available) machine translation tools, contribute to spread a new kind of plagiarism:
cross-language plagiarism. Cross-language plagiarism means plagiarism by translation, i.e. a text
has been plagiarized while being translated (manually or automatically) from its original language
into the language of the document in which the plagiarist wishes to include it. While prevention of
plagiarism is an active field of research and development, it covers mostly monolingual comparison
techniques. This thesis is a joint work between an academic laboratory (LIG) and Compilatio (a
software publishing company of solutions for plagiarism detection), and proposes cross-lingual
semantic textual similarity measures, which is an important sub-task of cross-language plagiarism
detection.
After defining the plagiarism and the different concepts discussed during this thesis, we
present a state-of-the-art of the different cross-language plagiarism detection approaches. We
also present the preexisting corpora for cross-language plagiarism detection and show their limits.
Then we describe how we have gathered and built a new dataset, which does not contain most
of the limits encountered by the preexisting corpora. Using this new dataset, we conduct a
rigorous evaluation of several state-of-the-art methods and discover that they behave differently
according to certain characteristics of the texts on which they operate. We next present new
methods for measuring cross-lingual semantic textual similarities based on word embeddings.
We also propose a notion of morphosyntactic and frequency weighting of words, which can be
used both within a vector and within a bag-of-words, and we show that its introduction in
the new methods increases their respective performance. Then we test different fusion systems
(mostly based on linear regression). Our experiments show that we obtain better results than
the state-of-the-art in all the sub-corpora studied. We conclude by presenting and discussing
the results of these methods obtained during our participation to the cross-lingual Semantic
Textual Similarity (STS) task of SemEval-2017, where we ranked 1st on the sub-task that best
corresponds to Compilatio’s use-case scenario.
La mise à disposition massive de documents via Internet (pages Web, entrepôts de données,
documents numériques, numérisés ou retranscrits, etc.) rend de plus en plus aisée la récupération
d’idées. Malheureusement, ce phénomène s’accompagne d’une augmentation des cas de plagiat.
En effet, s’approprier du contenu, peu importe sa forme, sans le consentement de son auteur (ou
de ses ayants droit) et sans citer ses sources, dans le but de le présenter comme sa propre oeuvre
ou création est considéré comme plagiat. De plus, ces dernières années, l’expansion d’Internet a
également facilité l’accès à des documents du monde entier (écrits dans des langues étrangères)
et à des outils de traduction automatique de plus en plus performants, accentuant ainsi la progression
d’un nouveau type de plagiat : le plagiat translingue. Ce plagiat implique l’emprunt
d’un texte tout en le traduisant (manuellement ou automatiquement) de sa langue originale vers
la langue du document dans lequel le plagiaire veut l’inclure. De nos jours, la prévention du
plagiat commence à porter ses fruits, grâce notamment à des logiciels anti-plagiat performants
qui reposent sur des techniques de comparaison monolingue déjà bien éprouvées. Néanmoins, ces
derniers ne traitent pas encore de manière efficace les cas translingues. Cette thèse est née du
besoin de Compilatio, une société d’édition de l’un de ces logiciels anti-plagiat, de mesurer des
similarités textuelles sémantiques translingues (sous-tâche de la détection du plagiat).
Après avoir défini le plagiat et les différents concepts abordés au cours de cette thèse, nous
établissons un état de l’art des différentes approches de détection du plagiat translingue. Nous
présentons également les différents corpus déjà existants pour la détection du plagiat translingue
et exposons les limites qu’ils peuvent rencontrer lors d’une évaluation de méthodes de détection
du plagiat translingue. Nous présentons ensuite le corpus que nous avons constitué et qui ne possède
pas la plupart des limites rencontrées par les différents corpus déjà existants. Nous menons,
à l’aide de ce nouveau corpus, une évaluation de plusieurs méthodes de l’état de l’art et découvrons
que ces dernières se comportent différemment en fonction de certaines caractéristiques des
textes sur lesquelles elles opèrent. Ensuite, nous présentons des nouvelles méthodes de mesure de
similarités textuelles sémantiques translingues basées sur des représentations continues de mots
(word embeddings). Nous proposons également une notion de pondération morphosyntaxique et
fréquentielle de mots, qui peut aussi bien être utilisée au sein d’un vecteur qu’au sein d’un sac de
mots, et nous montrons que son introduction dans ces nouvelles méthodes augmente leurs performances
respectives. Nous testons ensuite différents systèmes de fusion et combinaison entre
différentes méthodes et étudions les performances, sur notre corpus, de ces méthodes et fusions en
les comparant à celles des méthodes de l’état de l’art. Nous obtenons ainsi de meilleurs résultats
que l’état de l’art dans la totalité des sous-corpus étudiés. Nous terminons en présentant et discutant
les résultats de ces méthodes lors de notre participation à la tâche de similarité textuelle
sémantique (STS) translingue de la campagne d’évaluation SemEval 2017, où nous nous sommes
classés 1er à la sous-tâche correspondant le plus au scénario industriel de Compilatio.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...