Évaluation transparente du traitement des éléments de réponse à une question factuelle - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2009

Glass box evaluation of the processes involved in answering a factual question

Évaluation transparente du traitement des éléments de réponse à une question factuelle

Résumé

Question answering systems (QAS) allow a user to search a precise information in a huge corpus like the Web. These systems are complex, using natural language processing (NLP) techniques. Evaluation campaigns are organized to evaluate their final performance but research teams still need diagnostic evaluations to know the reasons of their successes and their failures. However there are no tools or methods to produce systematic evaluations of linguistic criteria for such systems. The goal of this work is to propose a methodology based on the glass box evaluation of intermediary results produced by QAS. This methodology makes use of both overall performance evaluation and corpus analysis. Therefore we will discuss the usual methods of evaluation and their limits in terms of diagnostic evaluation. Our first step will be to examine evaluation procedures, both of final results and of results produced by each component, in order to determine which elements are most relevant to a finer-grained evaluation of linguistic strategies used by QAS. This study will allow us to shed light on the methodological principles guiding a glass box diagnostic evaluation of QAS. In the second part of this work we will discuss the typical errors that occur in QAS in order to review which functions would be required in creating a specific tool for systematic error analysis. This lead us to the creation of REVISE (Research, Extraction, VISualisation and Evaluation), a tool that stores intermediary results of a system for further annotation, modification, visualisation and evaluation. We will also be discussing the tool's genericity by applying it to the results of another QAS : RITEL. Finally we carried out two types of studies, successively applying REVISE to two different QAS : FRASQUES and QALC. The first study concerns a linguistic criterion which we have called the "focus" - extracted during question analysis - and its contextual variations in the answer sentences selected by the system. The second study deals with the extraction rules for precise answers.
Les systèmes de questions-réponses permettent à un utilisateur de rechercher une information précise dans un corpus de données massif, comme le Web. Ce sont des systèmes complexes qui utilisent des techniques de traitement automatique des langues (TAL). Des campagnes d'évaluation sont organisées pour évaluer leur performance finale, mais les équipes de recherche doivent ensuite réaliser des évaluations de diagnostic pour savoir les raisons de leurs succès et de leurs échecs. Or, il n'existe ni outil, ni méthode pour réaliser des évaluations systématiques de critères linguistiques pour de tels systèmes. L'objectif de ce travail est de proposer une méthodologie d'évaluation transparente des résultats intermédiaires produits par les systèmes de questions-réponses, en combinant à la fois une évaluation de performance et une analyse de corpus. Ainsi, nous discuterons de l'évaluation telle qu'elle est menée pour ces systèmes, et des limites rencontrées pour une évaluation de diagnostic. Dans un premier temps, nous nous interrogerons sur les pratiques d'évaluation, qu'elles portent sur les résultats finaux d'un système ou bien sur ceux que produisent les différents composants dans l'optique de dégager les tenants et les aboutissants d'une évaluation plus fine des stratégies linguistiques mise en œuvre au sein des systèmes de questions-réponses. Cette étude nous permettra de dégager les principes d'une méthodologie d'évaluation de diagnostic transparente pour les systèmes de questions-réponses. Dans un deuxième temps, nous nous sommes intéressée aux erreurs classiques d'un système de questions-réponses afin de détailler les fonctionnalités nécessaires à un outil de diagnostic systématique de ces erreurs. Ceci nous a conduit à la création d'un outil d'évaluation, REVISE (Recherche, Extraction, VISualisation et Évaluation), qui permet de stocker les résultats intermédiaires d'un système de façon à en disposer pour les annoter, les modifier, les visualiser et les évaluer. Nous avons également discuté la généricité de cet outil à l'aide des résultats du système de questions-réponses RITEL. Enfin, nous avons mené à l'aide de notre outil deux types d'études sur les systèmes de questions-réponses FRASQUES et QALC, l'une portant sur le critère linguistique focus extrait lors de l'analyse des questions et sur ses variations en contexte dans les phrases réponses sélectionnées par le système ; l'autre sur l'application des règles d'extraction de réponses précises.
Fichier principal
Vignette du fichier
these_el_ayari2009.pdf (2.66 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00618355 , version 1 (01-09-2011)

Identifiants

  • HAL Id : tel-00618355 , version 1

Citer

Sarra El Ayari. Évaluation transparente du traitement des éléments de réponse à une question factuelle. Informatique [cs]. Université Paris Sud - Paris XI, 2009. Français. ⟨NNT : ⟩. ⟨tel-00618355⟩
292 Consultations
205 Téléchargements

Partager

Gmail Facebook X LinkedIn More