Construction of Model Behavior by Novices through Interaction with Machine Learning
Construction du comportement des modèles par des novices à travers l'interaction avec l'apprentissage automatique
Résumé
Machine learning (ML) systems increasingly mediate decisions across domains such as hiring, healthcare, criminal justice, and content moderation. While often framed as neutral or objective, these systems frequently reproduce the very inequalities they claim to address. Such harms are not isolated technical failures, but reflections of broader sociotechnical dynamics: models encode dominant norms shaped by the data, assumptions, and institutional practices that underlie their design. Addressing these dynamics requires moving beyond internal performance metrics and attending to how model behavior unfolds in context, including how models operate in real-world settings and how people interpret and respond to their outputs. This thesis investigates how model behavior is not only examined but constructed through human interaction with ML models in real-world settings. It centers novice users who are typically excluded from formal development pipelines but directly impacted by model decisions, exploring how they interpret, evaluate, and potentially shape model behavior through interaction. Grounded in Human–Computer Interaction (HCI) and informed by Science and Technology Studies (STS) and AI ethics, this thesis adopts a human-centered lens to present two empirical studies that engage novice users in the development and post-deployment phases of the ML lifecycle. These studies examine how user interaction makes model behavior accessible for reflection, negotiation, critique, and, if possible, change. The first study introduces Collaborative Interactive Machine Teaching (CIMT), where small groups of novice users train an image classifier using a web-based platform called TeachTOK. It examines how participants collaboratively plan teaching strategies, curate training data, and reflect on model behavior using real-time feedback. Findings show that collaboration was central to negotiating teaching objectives, such as representational diversity, and building a shared understanding of model behavior. The second study investigates user-driven algorithm auditing as a post-deployment practice, in which non-experts evaluate a pretrained image captioning model for gender bias. Drawing on cognitive models of sensemaking, we designed an auditing interface with two additional tools: one that supports hypothesis testing through input manipulation, and another that enables grouping outputs to reveal patterns. A between-subjects online study examined how interface conditions shaped users’ sensemaking outcomes. Findings show that different tools influenced which harms users could detect, how they formed hypotheses, and how they developed confidence in their interpretations. Across both development and post-deployment phases, this thesis demonstrates how novices’ interaction with the ML model contributes to the construction of model behavior. In CIMT, participants shaped behavior through teaching and negotiation. In auditing, they surfaced harms and evaluated model behavior through iterative sensemaking. In both cases, users brought their own perspectives to bear on how models should behave, perspectives often excluded from conventional ML development and evaluation. This work contributes empirical, technical, and methodological insights that have the potential to support participatory and reflexive approaches to machine learning within human-centered AI, and calls for future research grounded in sustained, real-world, and community-led practices.
Les systèmes d'apprentissage automatique (machine learning, ML) interviennent de plus en plus dans des domaines tels que le recrutement, la santé, la justice pénale et la modération de contenu. Bien qu'ils soient souvent présentés comme neutres ou objectifs, ces systèmes reproduisent fréquemment les inégalités mêmes qu'ils prétendent corriger. Ces préjudices ne sont pas de simples défaillances techniques, mais le reflet de dynamiques sociotechniques plus larges : les modèles encodent des normes dominantes façonnées par les données, les hypothèses et les pratiques institutionnelles à l'origine de leur conception. Pour aborder ces dynamiques, il faut dépasser les métriques de performance internes et s'intéresser à la manière dont le comportement des modèles se manifeste en contexte, notamment à travers l'interprétation et les réactions des utilisateurs dans des situations réelles. Cette thèse explore comment le comportement des modèles peut non seulement être analysé, mais aussi construit à travers l'interaction humaine avec des systèmes d'apprentissage automatique dans des contextes réels. Elle se concentre sur des utilisateurs novices, souvent exclus des processus formels de développement mais directement concernés par les décisions algorithmiques, et examine comment ces utilisateurs interprètent, évaluent et peuvent potentiellement façonner le comportement des modèles. Ancrée en interaction humain-machine (IHM) et informée par les sciences et technologies (STS) et l'éthique de l'IA, cette thèse adopte une approche centrée sur l'humain à travers deux études empiriques portant sur les phases de développement et de post-déploiement du cycle de vie des modèles ML. Ces études montrent comment l'interaction rend le comportement des modèles accessible à la réflexion, à la négociation et à la critique. La première étude introduit l'enseignement automatique interactif et collaboratif (Collaborative Interactive Machine Teaching), dans lequel de petits groupes d'utilisateurs novices entraînent un classificateur d'images à l'aide d'une plateforme web nommée TeachTOK. Les participants planifient des stratégies d'enseignement, sélectionnent des données d'entraînement et observent le comportement du modèle grâce à des retours en temps réel. Les résultats montrent que la collaboration facilite la négociation d'objectifs comme la diversité des représentations et la construction d'une compréhension partagée du comportement du modèle. La seconde étude explore l'audit d'algorithme dirigé par les utilisateurs (User-Driven Algorithm Auditing), une pratique de post-déploiement où des non-experts évaluent un modèle de génération de légendes d'images afin de détecter des biais de genre. En s'appuyant sur des modèles cognitifs de mise en sens (sensemaking), une interface d'audit a été conçue avec deux outils : l'un permettant la formulation d'hypothèses par manipulation des entrées, l'autre le regroupement des sorties pour faire émerger des motifs. Une étude en ligne a examiné comment les outils proposés influencent les biais identifiés, les hypothèses formulées et la confiance des utilisateurs dans leurs interprétations. À travers ces deux phases, la thèse montre comment l'interaction de novices avec des modèles ML contribue à la construction du comportement des modèles. Dans l'enseignement interactif, les participants façonnent ce comportement par l'enseignement et la négociation ; dans l'audit, ils identifient des préjudices et développent une lecture critique par une mise en sens itérative. Dans les deux cas, ils apportent des perspectives souvent absentes des approches conventionnelles. Ce travail apporte des contributions empiriques, techniques et méthodologiques qui ont le potentiel de soutenir des approches participatives et réflexives de l'apprentissage automatique au sein de l'IA centrée sur l'humain, et appelle à de futures recherches ancrées dans des pratiques durables, réelles et dirigées par les communautés.
Domaines
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
