Continuous Evaluation Framework for Information Retrieval Systems
Cadre d'évaluation continue pour les systèmes de recherche d'information
Résumé
Classical evaluation of information retrieval (IR) systems uses a static test collection composed of a corpus of documents, a set of queries, and relevance judgments that indicate which documents are relevant to each query. In the case of Web search, the environment (e.g., the Web pages or the submitted queries) is continuously changing, and the hypothesis of using a static test collection is not representative of this changing reality. Moreover, new features are regularly added to the search engine creating a new IRS version. Finally, the changes in the search engine and the evolution of the test collection used to evaluate the system have an impact on the performance evaluation. To the best of our knowledge, there is no way to evaluate different IR systems using evolving test collections as a continuous evaluation of IR systems.A continuous evaluation based on the classical evaluation paradigm should allow us to quantify the differences between evaluations. We call the differences between test collections a Knowledge delta (KD), and the performance differences between systems evaluated on these different test collections are called Result deltas (RD). Finally, the continuous evaluation is based on both Knowledge deltas and Result deltas. The related changes in both ``deltas'' will allow us to interpret the system's performances. We propose to create evolving test collections for a continuous result delta evaluation framework. An evolving test collection is a set of test collections that change across different epochs. It can be simulated using a static test collection, or it can be acquired using an evolving strategy. The evolving test collection is consequently used to evaluate systems in the continuous evaluation framework.This work focuses on the computation of RD. With this goal, we propose a framework defined in three steps. First, we validate that two epochs are comparable using a set of reference systems that evaluate the comparability of test collection pairs. Second, we define the strategy to compare the performance of different systems across epochs. Here, we propose a comparison of systems using a reference system called pivot to create a continuous ranking of systems; a performance comparison in a specific epoch or interest relying on a set of reference systems to compute standardization and projection functions; and to define comparable grains across epochs. In the third and final step, the comparison strategy is applied to the tested systems, and longitudinal analysis is performed based on the computation of the RD according to each comparison strategy.We test our evaluation framework using two simulated evolving test collections based on TREC-Robust and TREC-COVID, and we apply our framework using our acquired test collection LongEval. The results suggest that an evolving test collection provides more varied results than creating random shards from a test collection to evaluate performance variability. Using evolving test collections also show that there is a relation between the evolution of the test collections and the performance change of the systems. Finally, the continuous result delta evaluation framework relates the differences between the test collections and the differences in the performance of the systems to provide a meaningful continuous evaluation, creating a correct ranking of systems and a performance comparison across epochs. This work is the base of an evaluation framework that relates knowledge deltas with result deltas in an explainable continuous evaluation framework.
L'évaluation classique des systèmes de recherche d'informations (SRI) se fait à l'aide d'une collection de test statique composée d'un corpus de documents, d'un ensemble de requêtes et de jugements qui indiquent quels documents sont pertinents pour chaque requête. Dans le cas de la recherche d’information sur le Web, l'environnement (les pages Web, les requêtes soumises) change continuellement, et utiliser une collection de test statique ne tient pas compte de cette réalité changeante. De plus, de nouvelles fonctionnalités sont régulièrement ajoutées au moteur de recherche, créant de nouvelles versions du SRI. Ces modifications apportées au moteur de recherche, ainsi que l'évolution de la collection de tests utilisée pour évaluer le système, ont un impact sur l'évaluation des performances. À notre connaissance, la littérature ne propose aucun moyen d'évaluer différents SRI en utilisant des collections de tests évolutives comme support de l’évaluation continue de ces SRI.Une évaluation continue basée sur le paradigme d'évaluation classique devrait nous permettre de quantifier les différences entre les évaluations. Nous appelons les différences entre les collections de tests un "delta de connaissances" (KD), et les différences de performances entre les systèmes évalués sur ces différentes collections de tests sont appelées "delta de résultats" (RD). L'évaluation continue est basée à la fois sur les KD et les RD, qui nous permettent d'interpréter les performances du système. Nous proposons de créer des collections de test évolutives pour un cadre d'évaluation continue. Une collection de test évolutive est un ensemble de collections de test qui changent au fil des différentes époques. Elle peut être simulée à partir d'une collection de tests statique, ou acquise en utilisant une stratégie évolutive. Une telle collection de test évolutive est ensuite utilisée pour évaluer les systèmes dans le cadre de l'évaluation continue.Ce travail se concentre sur le calcul des RD. Dans cette optique, nous proposons un cadre défini en trois étapes. Tout d'abord, nous validons que deux époques sont comparables en utilisant un ensemble de systèmes de référence qui évaluent la comparabilité des paires de collections de tests. Ensuite, nous définissons la stratégie pour comparer les performances des différents systèmes à travers les époques. Nous proposons ici une comparaison des systèmes en utilisant : soit un système de référence appelé pivot pour créer un classement continu des systèmes, soit un ensemble de systèmes de référence pour calculer des fonctions de standardisation et de projection afin de définir des grains comparables à travers les époques. Dans la troisième et dernière étape, la stratégie de comparaison est appliquée aux systèmes testés, et une analyse longitudinale est réalisée en fonction du calcul du RD selon chaque stratégie de comparaison.Nous avons testé notre cadre d'évaluation sur deux collections de test évolutives simulées basées sur TREC-Robust et TREC-COVID, et nous avons appliqué notre cadre en utilisant une collection de tests acquise à partir du Web, LongEval. Les résultats suggèrent qu'une collection de tests évolutive offre des résultats plus variés que la création aléatoire de fragments à partir d'une collection de test pour évaluer la variabilité des performances. L'utilisation de collections de test évolutives montre également qu'il existe une relation entre l'évolution des collections de test et le changement de performance des systèmes. Enfin, le cadre d'évaluation continue des RDs connecte les différences entre les collections de tests et les différences de performance des systèmes pour i) fournir une évaluation continue ayant du sens, et ii) créer un classement correct des systèmes et une comparaison des performances à travers les époques. Ce travail constitue la base d'un cadre d'évaluation qui relie les KDs aux RDs dans un cadre d'évaluation continue explicatif.
| Origine | Version validée par le jury (STAR) |
|---|