From transparency of knowledge graphs to a general framework for defining assessment measures - TEL - Thèses en ligne
Thèse Année : 2024

From transparency of knowledge graphs to a general framework for defining assessment measures

De la transparence des graphes de connaissances à un cadre général pour la définition de mesures d'évaluation

Résumé

Many Knowledge Graphs (KG) are available on the Web, and it may be difficult to decide which one to work with. Various criteria may influence this choice, beyond the relevance of the domain and the content, the use of standards, the identification of the creators... are also important. Indeed, the opening up of more and more data, encouraged by data openness policies of governments and the growing importance of data in today’s society, comes with additional requirements in terms of quality and transparency. To help users choose one KG over another, we aim to provide an estimate of the transparency of a given knowledge graph. When thinking about this notion, several questions naturally come to mind. Do we know who created the KG? From what source? How? For what purpose?... This kind of information is essential to build trust in the data and increase their reuse. In addition, provenance information enables their reproducibility and verification. However, the notion of transparency does not have well-defined boundaries. To try to understand it, we first explore the notion of transparency and its related concepts (openness, accessibility, verifiability...). Then, given the lack of precise requirements for transparency as a whole, we focus on one of its closely related concepts and propose a measure of the accountability of KGs. We use our measure to evaluate hundreds of KGs available through SPARQL endpoints. While most of them do not provide any accountability information within their data, our measure allows to discriminate among the others. Finally, we compare our measure with others studying data quality or FAIRness of KGs. This comparison highlights that each measure has its own particularities, but also shares similarities with many other existing measures. As a result, choosing the proper measure to evaluate KGs for a given task is not easy, since they are described in many different ways and places. Given that many of them rely on a hierarchical structure, we propose to define a formal basis for describing the measures in a common framework. It aims to facilitate their understanding, reuse, comparison, and sharing by defining operators to manipulate them, either to build new ones, or to compare them. We also propose a web application for designing and comparing measures defined in this way.
De nombreux graphes de connaissances (KG) sont disponibles sur le Web, et il peut être difficile de décider avec lequel travailler. Différents critères peuvent influencer ce choix, au-delà de la pertinence du domaine et du contenu, l'utilisation de standards, l'identification des créateurs... sont également importants. En effet, la mise à disposition de toujours plus de données, encouragée par les politiques gouvernementales d'ouverture des données et l'importance croissante des données dans notre société actuelle, s'accompagne d’attentes supplémentaires en termes de qualité et de transparence. Afin d'aider les utilisateurs à choisir un KG plutôt qu'un autre, nous voulons fournir une estimation de la transparence de KG. Lorsque l'on pense à cette notion, plusieurs questions se posent naturellement. Savons-nous qui a créé le graphe de connaissances ? À partir de quelle source ? De quelle manière ? Dans quel but ? Ces types d'information sont essentiels pour renforcer la confiance dans les données et favoriser leur réutilisation. En outre, les informations de provenance permettent la reproductibilité des données et leur vérification. Cependant, les contours de la notion de transparence ne sont pas clairement définis. Pour tenter de mieux la comprendre, nous explorons tout d'abord cette notion et ses concepts associés (accessibilité, ouverture, vérifiabilité...). Étant donné l'absence d'exigences précises concernant la transparence dans sa globalité, nous nous concentrons ensuite sur un concept proche, et proposons une mesure de « l’accountability » des KG. Puis, nous utilisons notre mesure pour évaluer des centaines de KGs disponibles via des SPARQL endpoints. Bien que la plupart d'entre eux ne fournissent aucune information sur l’accountability dans leurs données, notre mesure permet de distinguer et départager les autres. Enfin, nous comparons notre mesure avec d'autres mesures pour les KG sur la qualité des données et les principes FAIR. Cette comparaison montre que chaque mesure a ses propres spécificités, tout en partageant des points communs avec les nombreuses autres mesures existantes. Aussi, choisir la mesure appropriée pour évaluer les KG dans le cadre d'une tâche donnée n’est pas aisé, d’autant plus qu'elles sont décrites de manières variées et à différents endroits. Étant donné que beaucoup reposent sur une structure hiérarchique, nous proposons de définir une base formelle pour décrire les mesures dans un cadre commun. Ce cadre vise à faciliter leur compréhension, leur réutilisation, leur comparaison et leur partage en définissant des opérateurs permettant de les manipuler, soit pour en créer de nouvelles, soit pour les comparer. Nous proposons également une application web pour concevoir et comparer des mesures définies de cette manière.
Fichier principal
Vignette du fichier
these.pdf (3.37 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04874933 , version 1 (08-01-2025)

Identifiants

  • HAL Id : tel-04874933 , version 1

Citer

Jennie Andersen. From transparency of knowledge graphs to a general framework for defining assessment measures. Computer Science [cs]. INSA de Lyon, 2024. English. ⟨NNT : 2024ISAL0047⟩. ⟨tel-04874933⟩
0 Consultations
0 Téléchargements

Partager

More