Argument Mining on Clinical Trials
Fouille d’arguments à partir des essais cliniques
Résumé
In the latest years, the healthcare domain has seen an increasing interest in the definition of intelligent systems to support clinicians in their everyday tasks and activities. Among others, this includes novel systems for the field of Evidence-based Medicine. The latter relies on the principle of critically appraising medical evidence and combining high quality evidence with the individual clinical experience of the practitioner with respect to the circumstances of a patient to achieve the best possible outcome. Hence, most of the proposed intelligent systems aim either at extracting information concerning the quality of evidence from clinical trials, clinical guidelines, or electronic health records, or assist in the decision making processes, based on reasoning frameworks. The work in this thesis goes beyond the state-of-the-art of currently proposed information extraction systems. It employs Argument Mining methods to extract and classify argumentative components (i.e., evidence and claims of a clinical trial) and their relations (i.e., support, attack). An Argument Mining pipeline is proposed and further enhanced to integrate additional information inspired by prevalent biomedical frameworks for the analysis of clinical trials. These extensions comprise the detection of PICO elements and an outcome analysis module to identify and classify the effects (i.e., improved, increased, decreased, no difference, no occurrence) of an intervention on the outcome of the trial. In this context, a dataset, composed of 660 Randomized Controlled Trial abstracts from the MEDLINE database, was annotated, leading to a labeled dataset with 4198 argument components, 2601 argument relations, and 3351 outcomes on five different diseases (i.e., neoplasm, glaucoma, hepatitis, diabetes, hypertension). Various Machine Learning approaches ranging from feature-based SVMs to recent neural architectures have been experimented with, where deep bidirectional transformers obtain a macro F1-score of .87 for argument component detection and .68 for argument relation prediction, outperforming current state-of-the-art Argument Mining systems. Additionally, a Proof-of-Concept system, called ACTA, was developed to demonstrate the practical use of the developed argument-based approach to analyse clinical trials. This demo system was further integrated in the context of the Covid-on-the-Web project to create rich and actionable Linked Data about the Covid-19.
Ces dernières années, le domaine de la e-santé a vu un intérêt croissant pour la définition de systèmes intelligents ayant le but d'accompagner les cliniciens dans leurs tâches et leurs activités quotidiennes. D’ailleurs, cela inclut de nouveaux systèmes pour le domaine de la médecine basée sur les preuves. Ce dernier repose sur le principe de l'évaluation critique des preuves médicales et de la combinaison de ces preuves de haute qualité avec l'expérience clinique individuelle du praticien par rapport à la situation d'un patient pour obtenir le meilleur résultat possible. La plupart des systèmes intelligents proposés visent soit à extraire des informations sur la qualité des preuves issues des essais cliniques, de directives cliniques ou des dossiers de santé électroniques, soit à aider dans les processus de prise de décision, sur la base de cadres de raisonnement. Le travail de cette thèse va au-delà de l'état de l'art des systèmes d'extraction d'informations actuellement proposés dans ce contexte. Il utilise des méthodes d'analyse d'arguments pour extraire et classifier les composants d’argumentation (c'est-à-dire les preuves et les conclusions d'un essai clinique) et leurs relations (c'est-à-dire le support et l'attaque). Un cadre de fouille d’arguments (Argument Mining) est proposé et amélioré pour intégrer des informations supplémentaires inspirées par les cadres biomédicaux courants pour l'analyse des essais cliniques. Ces extensions comprennent la détection des éléments PICO et un module d'analyse des résultats pour identifier et classer les effets (c'est-à-dire améliorés, augmentés, diminués, pas de différence, pas d'occurrence) d'une intervention sur le résultat de l'essai. Dans ce contexte, un jeu de données, composé de 660 résumés d'essais cliniques dans la base de données MEDLINE, a été annoté, en résultant dans le construction d’un jeu de données étiquetées qui inclut 4198 composants d’argumentation, 2601 relations d'argumentation et 3351 résultats d’intervention sur cinq maladies différentes (néoplasme, glaucome, hépatite, diabète, hypertension). Diverses approches d'apprentissage automatique et profond allant des SVM aux architectures récentes basées sur les réseaux de neurones ont été expérimentées, obtenant un F1 macro de 0,87 pour la détection de composants d'argumentation et de 0,68 pour la prédiction des relation d’argumentation, surpassant les résultats obtenus pas les systèmes de detection d'arguments dans l’état de l’art. De plus, une demo d’un système, appelé ACTA, a été développée pour démontrer l'utilisation pratique de l'approche basée sur les arguments développée pour analyser les essais cliniques. Ce système de démonstration a été intégré dans le contexte du projet Covid-on-the-Web pour créer des données liées riches et exploitables sur le Covid-19.
| Origine | Version validée par le jury (STAR) |
|---|