Expliquer et justifier les systèmes de décisions algorithmiques - TEL - Thèses en ligne
Thèse Année : 2021

Explain and Justify Algorithmic Decision Systems

Expliquer et justifier les systèmes de décisions algorithmiques

Résumé

In a context favorable to the rationalization of decisions through measurable objectives and quantitative methods, the recent development of digital technologies has accelerated the adoption of decision systems based on algorithmic processing. Such systems are already present in many areas and their use is expected to increase further. However, if no specific measures are taken, the use of such algorithms carries risks for citizens and for society. While several solutions, including legal and technical ones, have already been proposed by some states and by the eXplainable Artificial Intelligence (XAI) research community, we believe that additional efforts are needed to fully address all the issues posed by such systems. In this thesis, we start by presenting the main previous research works that make up the eXplainable Artificial Intelligence (XAI) research field, in particular the works aiming at guaranteeing the intelligibility of decision algorithms, and in particular the black-box explanation methods, i.e. those that work without accessing the algorithm's code. These seemingly diverse methods actually share a common structure that we identify and use to establish a taxonomy. Moreover, in order to judge the interest of explanation methods in general, we must look at their evaluation. This complex issue remains an active research area in which studies involving human users have a large part to play. Next, we describe our interactive black-box algorithm explanation system called IBEX. Based on user input, IBEX generates an explanation tailored to the user's profile and needs. The user can interact with the explanation system at multiple levels depending on their skills and expertise. IBEX is therefore suitable for both laymen (and from the first use), professionals (who might have to use IBEX regularly) and experts in Artificial Intelligence. To generate explanations, IBEX relies on a common generic framework for black-box explanations that notably decomposes the explanation process into two distinct components. This decomposition and the resulting combinations of choices allow for a variety of explanations that can be leveraged to best satisfy the diversity of needs. The approach proposed in IBEX has been tested in a study involving users (agents of a French regulatory authority) with various profiles (lawyers and engineers). In the following, we propose an original method allowing users of algorithmic systems to contest or justify their decisions. While contestation occupies an important place in legal texts and the question of their justification by external norms is a central concern of social science works, there are no tools dedicated to these specific objectives. First, we define the terms justification and contestation. A justification (respectively a contestation) is an argument, supported by evidence, that a decision is right (respectively wrong) in the sense of a set of predefined external norms. Justification and contestation are seen here as dual notions. A technical device, called Algocate, allows to operationalize these notions for three types of norms (rules, objectives and reference) thanks to an interactive system allowing the user to express his point of view on the soundness of the decision. This approach is also tested with real users in a user study. The proposed solutions for the explanation or justification of algorithmic decisions must be confronted with the field. Within the framework of this thesis, a three-year collaboration was conducted with the Agence de la Biomédecine. It focused on the algorithm that operates the allocation of heart transplants on a national scale, replacing a system in which the physicians of the transplant centers had a great deal of autonomy. After a literature review and interviews conducted in the field in French hospitals, the main sociological and organizational issues surrounding this algorithm were identified. Following this, a set of information ensuring the explanation and justification of the system was made available to the transplant center physicians. Translated with www.DeepL.com/Translator (free version)
Dans un contexte favorable à la rationalisation des décisions par des objectifs mesurables et des méthodes quantitatives, le développement récent des technologies numériques a accéléré l'adoption des systèmes de décisions fondés sur un traitement algorithmique. De tels systèmes sont déjà présents dans de nombreux domaines et leur utilisation devrait encore s'accroître. Toutefois, si aucune mesure spécifique n'est prise, l'utilisation de tels algorithmes est porteuse de risques pour les citoyens et pour la société. Alors que plusieurs solutions, notamment juridiques et techniques, ont déjà été proposées par certains États et par la communauté de recherche eXplainable Artificial Intelligence (XAI), nous pensons que des efforts supplémentaires sont nécessaires pour répondre pleinement à tous les enjeux posés par ce type de systèmes. Dans cette thèse, nous commençons par présenter les principaux travaux de recherche antérieurs qui composent le champ de recherche en eXplainable Artificial Intelligence (XAI) en particulier les travaux visant à garantir l'intelligibilité des algorithmes de décision et notamment les méthodes d'explication en mode boîte noire, c'est-à-dire qui fonctionnent sans accéder au code de l'algorithme. Ces méthodes, en apparence diverses, partagent en fait une structure commune que nous identifions et que nous mettons à profit pour en établir une taxonomie. Par ailleurs, pour juger de l'intérêt des méthodes d'explication en général, il faut s'intéresser à leur évaluation. Cette question complexe reste un domaine de recherche actif dans lequel les études impliquant des utilisateurs humains ont une large part à jouer. Ensuite, nous décrivons notre système interactif d'explication d'algorithme en boîte noire appelé IBEX. En s'appuyant sur les informations fournies par l'utilisateur, IBEX génère une explication adaptée au profil de la personne à ses besoins. L'utilisateur peut interagir avec le système d'explication à plusieurs niveaux en fonction de ses compétences et de son expertise. IBEX convient donc à la fois aux profanes (et dès la première utilisation), à des professionnels (qui pourraient être amenés à utiliser IBEX régulièrement) et à des experts en Intelligence Artificielle. Pour générer les explications, IBEX s'appuie sur un cadre générique commun pour les explications en boîte noire qui décompose notamment sur le processus d'explication en deux composantes distinctes. Cette décomposition et les combinaisons de choix qui en découlent permettent d'obtenir une variété d'explications qui peut être mise à profit pour satisfaire au mieux la diversité des besoins. La démarche proposée dans IBEX a été testée dans le cadre d'une étude impliquant des utilisateurs (agents d'une autorité de régulation française) ayant des profils variés (juristes et ingénieurs). Dans la suite, nous proposons une méthode originale permettant aux utilisateurs de systèmes algorithmiques d'en contester ou d'en justifier les décisions. Alors que la contestation occupe une place importante dans les textes de loi et que la question de leur justification par des normes extérieures est une préoccupation centrale des travaux de sciences sociales, il n'existe pas d'outils dédiés à ces objectifs spécifiques. En premier lieu, nous définissons les termes de justifications et de contestation. Une justification (respectivement une contestation) est un argument, soutenue par une preuve, qu'une décision est bonne (respectivement mauvaise) au sens d'un ensemble de normes extérieures prédéfinies. Justification et contestation sont vues ici comme des notions duales. Un dispositif technique, appelé Algocate, permet de rendre ces notions opérationnelles pour trois types de normes (règles, objectifs et référence) grâce à un système interactif permettant à l'utilisateur d'exprimer son point de vue sur le bien-fondé de la décision. Cette démarche est également testée auprès d'utilisateurs réels dans le cadre d'une étude impliquant des utilisateurs. Les solutions proposées pour l'explication ou la justification de décisions algorithmiques doivent être confrontées au terrain. Dans le cadre de cette thèse, une collaboration de trois ans a été menée avec l'Agence de la Biomédecine. Elle a porté sur l'algorithme qui opère l'attribution des greffons cardiaque à l'échelle nationale, remplaçant un système dans lequel les médecins des centres de greffe avaient une grande autonomie. Après une phase d'analyse bibliographique et des entretiens menés sur le terrain dans des hôpitaux français, les principaux enjeux sociologiques et organisationnels autour de cet algorithme ont pu être identifiés. Suite à cela, un ensemble d'informations assurant l'explication et la justification du système a été mis à disposition des médecins des centres de greffe.
Fichier principal
Vignette du fichier
manuscrit_these_final_henin.pdf (4.78 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03551798 , version 1 (01-02-2022)
tel-03551798 , version 2 (18-05-2022)

Identifiants

  • HAL Id : tel-03551798 , version 1

Citer

Clément Henin. Expliquer et justifier les systèmes de décisions algorithmiques. Informatique [cs]. Université de Lyon, 2021. Français. ⟨NNT : ⟩. ⟨tel-03551798v1⟩
713 Consultations
756 Téléchargements

Partager

More