Understanding Human-AI Trust in the Context of Decision Making through the Lenses of Academia and Industry : Definitions, Factors, and Evaluation
Comprendre la confiance entre l'humain et l'intelligence artificielle dans le contexte de la prise de décision par le prisme du monde académique et de l'industrie : définitions, facteurs et évaluation
Résumé
With the rise of AI-embedded systems assisting decisions in the context of medicine, justice, recruiting, Human-AI trust has become an utmost design priority. Numerous governments and large enterprises as well as researchers propose various strategies on how to foster trust in AI-embedded systems. However, trust is a complex, multifaceted concept, and Human-AI trust, being a recent research avenue, faces several challenges. On the theoretical level, the difference between trust and other related theoretical concepts (e.g. reliance, compliance, and trustworthiness) needs to be understood as well as the factors affecting Human-AI trust. On the methodological level, trust is difficult to assess, and appropriate protocols have to be understood. In this thesis, I tackle these challenges empirically through two lenses - academia and industry. I first conduct a systematic literature review of empirical studies on Human-AI trust in the context of decision making to get an overview of how trust is defined and evaluated in academia. However, as most studies are focusing on users' trust investigated in the controlled lab setting with AI mock-ups, I go further to investigate to which extent these findings hold true for other stakeholders with AI-embedded systems deployed in the market. To do so, I conduct a series of semi-structured interviews on the topic of Human-AI trust definitions and evaluation with people who develop and design AI-embedded systems assisting decision making and with people who are affected by these decisions. I argue that theoretical understanding of Human-AI trust directly affects experimental protocol and measures choices. Drawing from the social sciences literature, I propose guidelines on improving experimental protocols for studying Human-AI trust in the context of decision making. I also demonstrate that discussing theoretical concepts, such as Human-AI trust, with laypeople of different backgrounds not only can validate the academic theories, but also potentially contribute to theoretical advancement. Lastly, I provide an overview of factors that can affect Human-AI trust in the context of decision making and, based on the comparison between the findings of academia and industry, I highlight research opportunities and design implications for academic researchers and AI practitioners. This thesis provides theoretical and empirical evidence on Human-AI trust in the context of decision making and opens the ways to support trust in Human-AI interaction.
Avec l'essor des systèmes d'aide à la décision intégrant l'intelligence artificielle (AI) dans le domaine médical, judiciaire ou du recrutement, la confiance entre l'humain et l'IA est devenue une priorité dans la conception de ces systèmes. De nombreux gouvernements et grandes entreprises ainsi que des chercheurs proposent diverses stratégies pour favoriser la confiance dans les systèmes intégrant l'IA. Cependant, la confiance est un concept complexe et multidimensionnel, et la confiance entre l'humain et l'IA, qui est un sujet de recherche récent, fait face à plusieurs défis. Sur le plan théorique, la différence entre la confiance et d'autres concepts théoriques proches (par exemple, la conformité) doit être comprise, de même que les facteurs affectant la confiance entre l'humain et l'IA. Sur le plan méthodologique, la confiance est difficile à évaluer, et il est nécessaire de définir des protocoles appropriés. Dans cette thèse, je traite de ces défis de manière empirique à travers deux perspectives : académique et industrielle. J'effectue d'abord une revue systématique de la littérature des études empiriques sur la confiance entre l'humain et l'IA dans le contexte de la prise de décision afin d'obtenir une vue globale de la façon dont la confiance est définie et évaluée dans le monde académique. Cependant, comme la plupart de ces études sont en laboratoire et avec des maquettes d'IA, je poursuis cette analyse pour savoir dans quelle mesure ces résultats sont valables sur le terrain avec des vrais systèmes intégrant l'IA et différentes parties prenantes. Pour cela, je mène une série d'entretiens semi-structurés autour de la définition et de l'évaluation de la confiance entre l'humain et l'IA. Les participants sont soit des personnes qui développent ou conçoivent des systèmes intégrant l'IA pour l'aide à la prise de décision ou bien des personnes qui sont affectées par ces décisions. Je soutiens que la compréhension théorique de la confiance entre l'humain et l'IA influence directement le choix des protocoles expérimentaux et des mesures utilisés pour les études empiriques. En m'inspirant de la littérature en sciences sociales, je propose des recommandations pour améliorer ces protocoles expérimentaux. Je démontre également que la discussion de concepts théoriques, tels que la confiance entre l'humain et l'IA, avec des personnes ordinaires de différents profils peut non seulement valider les théories académiques, mais aussi contribuer à l'avancement de la théorie. Enfin, je donne un aperçu des facteurs qui peuvent affecter la confiance entre l'humain et l'IA dans le contexte de la prise de décision. En comparant les résultats provenant du monde académique avec ceux provenant de l'industrie, je souligne les opportunités pour la recherche pour les chercheurs académiques et des implications pour la conception pour les professionnels de l'IA. Cette thèse fournit des preuves théoriques et empiriques sur la confiance entre l'humain et l'IA dans le contexte de la prise de décision et ouvre des voies pour promouvoir la confiance dans l'interaction entre l'humain et l'IA.
| Origine | Version validée par le jury (STAR) |
|---|