Explain and justify algorithmic decision systems
Expliquer et justifier les systèmes de décisions algorithmiques
Résumé
In a context favorable to the rationalization of decisions through measurable objectives and quantitative methods, the recent development of computing technologies has incresed the adoption of algorithmic decision systems. Such systems are already used in many fields and a widespread adopted is excepted. However, the use of such algorithms does not come without risk. While several solutions have already been proposed, notably by the eXplainable Artififial Intelligence research community, we believe that additional efforts are needed to fully address all the issues. In this thesis, we start by presenting the main research works in eXplainable Artififial Intelligence, in particular black-box explanation methods, i.e. those that work without accessing the algorithm code. These seemingly diverse methods actually share a common structure that we identify and build upon to establish a taxonomy. Next, we describe our Interactive Black-box EXplanation system called IBEX. Based on user input, IBEX generates an explanation tailored to the individual's profile and needs. The user can interact with the explanation system according to their skills. To generate the explanations, IBEX relies on a framework for black-box explanations that describe the explanation process into two distinct components. The approach proposed in IBEX has been tested in a study involving users (agents of a French regulatory authority) with various profiles. Then, we propose an original method allowing to challenge or justify algorithm based decisions. While contestation is of major importance in legal texts and while their justification by external norms is a recurrent concern in social sciences, there are no tools dedicated to these specific objectives. Our tool Algocate operationalizes these notions for three types of norms (rules, objectives and reference) in an interactive way. This approach is also tested in a study involving real users. Finally, a three-year collaboration was conducted with the French biomedical agency. It focused on the heart transplant allocation algorithm. After a bibliographic analysis and interviews conducted in French hospitals, the main sociological and organizational issues surrounding this algorithm were identified. Then, a set of information ensuring the explanation and justification of the system was made available to the physicians of the transplant centers.
Dans un contexte favorable à la rationalisation des décisions par des objectifs mesurables et des méthodes quantitatives, le développement récent des technologies numériques a accéléré l'adoption des systèmes de décisions fondés sur un traitement algorithmique. De tels systèmes sont déjà présents dans de nombreux domaines et leur utilisation devrait encore s'accroître. Toutefois l'utilisation de tels algorithmes est porteuse de risques. Alors que plusieurs solutions ont déjà été proposées notamment par la communauté de recherche eXplainable Artififial Intelligence, nous pensons que des efforts supplémentaires sont nécessaires pour répondre pleinement à tous les enjeux. Dans cette thèse, nous commençons par présenter les principaux travaux de recherche en eXplainable Artififial Intelligence en particulier les méthodes d'explication en mode boîte noire, c'est-à-dire qui fonctionnent sans accéder au code de l'algorithme. Ces méthodes, en apparence diverses, partagent en fait une structure commune que nous identifions et que nous mettons à profit pour en établir une taxonomie.Ensuite, nous décrivons notre système interactif d'explication d'algorithme en boîte noire appelé IBEX. En s'appuyant sur les informations fournies par l'utilisateur, IBEX génère une explication adaptée au profil de la personne et à ses besoins. L'utilisateur peut interagir avec le système d'explication en fonction de ses compétences. Pour générer les explications, IBEX s'appuie sur un cadre pour les explications en boîte noire qui décompose notamment sur le processus d'explication en deux composantes distinctes. La démarche proposée dans IBEX a été testée lors d'une étude impliquant des utilisateurs (agents d'une autorité de régulation française) ayant des profils variés. Dans la suite, nous proposons une méthode originale permettant aux utilisateurs de systèmes algorithmiques d'en contester ou d'en justifier les décisions. Alors que la contestation occupe une place importante dans les textes de loi et que la question de leur justification par des normes extérieures est une préoccupation centrale des travaux de sciences sociales, il n'existe pas d'outils dédiés à ces objectifs spécifiques. Un dispositif technique, appelé Algocate, permet de rendre ces notions opérationnelles pour trois types de normes (règles, objectifs et référence) grâce à un système interactif. Cette démarche est également testée dans le cadre d'une étude impliquant des utilisateurs réels. Une collaboration de trois ans a été menée avec l'Agence de la biomédecine. Elle a porté sur l'algorithme d'attribution des greffons cardiaque. Après une phase d'analyse bibliographique et des entretiens menés sur le terrain dans des hôpitaux français, les principaux enjeux sociologiques et organisationnels autour de cet algorithme ont pu être identifiés. Suite à cela, un ensemble d'informations assurant l'explication et la justification du système a été mis à disposition des médecins des centres de greffe.
| Origine | Version validée par le jury (STAR) |
|---|