Towards Effective, Efficient and Explainable Neural Information Retrieval - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Towards Effective, Efficient and Explainable Neural Information Retrieval

Vers une recherche d'information neuronale efficace, efficiente et interprétable

Résumé

Information Retrieval is undergoing a paradigm shift. Keyword-based approaches, which have withstood the test of time, are challenged by a new generation of neural retrievers based on large Pre-trained Language Models. Such approaches can faithfully represent the content of documents and queries beyond the words they use -- delivering the promises of a truly semantic search experience. As models grow larger, they also become more opaque. This is a true obstacle to their widespread adoption in commercial search engines, which are increasingly faced with providing users with transparent, trustworthy, and explainable results. In this thesis, we first propose an original approach to the ad-hoc retrieval problem by learning how to represent queries and documents as sparse vectors in the vocabulary space. This results in a model that is effective, efficient, robust, and whose representations can be interpreted by design. We then propose to analyze neural ranking models from an Information Retrieval perspective, by focusing on lexical match and term importance. We first show how ColBERT - a state-of-the-art approach - relies on such aspects despite its semantic nature. We additionally extend the findings to other models by showing how the ability to perform keyword matching is architecture-dependent and heavily influenced by the presence of query terms in the training set - questioning the generalization capabilities of neural ranking models when it comes to exactly matching important query terms.
La Recherche d'Information connaît actuellement un changement de paradigme. Les approches traditionnelles basées sur les mots-clés sont concurrencées par une nouvelle génération de modèles neuronaux de classement basés sur des Modèles de Langue Pré-entraînés. Ces approches sont à même de représenter le contenu des documents et des requêtes au-delà des mots qu'ils utilisent, offrant ainsi la promesse d'une expérience de recherche véritablement sémantique. Au fur et à mesure que leur taille augmente, ces modèles deviennent de plus en plus opaques - ce qui constitue un véritable obstacle à leur adoption dans les moteurs de recherche commerciaux, qui sont confrontés à la nécessité de fournir aux utilisateurs des résultats transparents, fiables et interprétables. Dans cette thèse, nous proposons tout d'abord une approche originale au problème de la recherche ad-hoc en apprenant à représenter les requêtes et les documents comme des vecteurs parcimonieux dans l'espace du vocabulaire. Il en résulte un modèle efficace, efficient, robuste, et dont les représentations peuvent être interprétées. Nous proposons ensuite d'analyser les modèles neuronaux de classement, en nous concentrant sur la correspondance lexicale et l'importance des termes. Nous montrons d'abord comment ColBERT - une approche de pointe - s'appuie sur ces aspects malgré sa nature sémantique. Nous étendons les résultats à d'autres modèles en montrant que la capacité à effectuer une correspondance par mot-clés dépend de l'architecture et est fortement influencée par la présence des termes des requêtes dans l'ensemble d'apprentissage, remettant ainsi en question les capacités de généralisation de ces modèles.
Fichier principal
Vignette du fichier
FORMAL_Thibault_thesev2_2023.pdf (5 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04241646 , version 1 (13-10-2023)

Identifiants

  • HAL Id : tel-04241646 , version 1

Citer

Thibault Formal. Towards Effective, Efficient and Explainable Neural Information Retrieval. Computation and Language [cs.CL]. Sorbonne Université, 2023. English. ⟨NNT : 2023SORUS117⟩. ⟨tel-04241646⟩
155 Consultations
145 Téléchargements

Partager

Gmail Facebook X LinkedIn More