Deep learning interpretability with visual analytics : Exploring reasoning and bias exploitation
Interprétabilité de l’apprentissage profond via analyse visuelle : Exploration de raisonnements et de l’exploitation de biais
Résumé
Over the past few years, AI and machine learning have evolved from research areas secluded in laboratories far from the public, to technologies deployed on an industrial scale with a considerable impact on our everyday life. As these technologies are also used to solve critical problems such as finance and driving autonomous cars, in which their decisions can put people at risk, this trend has begun to raise legitimate concerns. Since much of the underlying complexity of the decision-making is learned from massive amounts of data, how these models make decisions remains unknown to both their creators and to the people impacted by such decisions. This has led to the new field of eXplainable AI (XAI) and the problem of analyzing the behavior of trained models, to shed light on their reasoning capabilities and the biases to which they are subject. In this thesis, we have contributed to this field with the design of visual analytics systems for the study and improvement of the interpretability of deep neural networks. Our goal was to provide experts with tools to help them better interpret the decisions of their models and eventually improve them. We also proposed applications designed to introduce deep learning methods to a non-expert audience. During this thesis, we focused on the underexplored challenge of model interpretation and improvement for robotics applications, where important decisions have to be made from high-level and high-dimensional inputs such as high level and high dimensional inputs such as images. All the tools designed during this thesis have been published as open-source projects, and when possible, our visualizations have been made available online as prototypes. These tools are highly interactive and can help encourage further interpretation of decision model decisions by the research community.
Au cours des dernières années, l’IA et l’apprentissage automatique ont évolué, passant de domaines de recherche reclus dans des laboratoires éloignés du public à des technologies déployées à l’échelle industrielle ayant un impact considérable sur notre vie quotidienne. Étant donné que ces technologies sont également utilisées pour résoudre des problèmes critiques tels que la finance et la conduite de voitures autonomes, dans lesquels leurs décisions peuvent mettre des personnes en danger, cette tendance a commencé à susciter des inquiétudes légitimes. Puisqu’une grande partie de la complexité sous-jacente du processus de décision est apprise à partir de quantités massives de données, la manière dont ces modèles prennent des décisions reste inconnue tant pour leurs créateurs que pour les personnes impactées par de telles décisions. Cela a conduit au nouveau domaine de l’eXplainable AI (XAI) et au problème de l’analyse du comportement des modèles entraînés, pour mettre en lumière leurs capacité raisonnement et les biais auxquels ils sont soumis. Dans cette thèse, nous avons contribué à ce domaine émergent avec la conception de systèmes d’analyse visuelle destinés à l’étude et à l’amélioration de l’interprétabilité des réseaux de neurones profonds. Notre objectif était de permettre aux experts de disposer d’outils les aidant à mieux interpréter les décisions de leurs modèles et éventuellement les améliorer. Nous avons également proposé des applications explorables conçues pour présenter des méthodes d’apprentissage profond à un public non-expert. Durant cette thèse, nous nous sommes concentrés sur le défi sous-exploré de l’interprétation et de l’amélioration des modèles pour différentes applications de la robotique, où des décisions importantes doivent être prises à partir de données d’entrées de haut niveau et de haute dimension telles que des images. Tous les outils conçus au cours de cette thèse ont été publiés en tant que projets open-source, et lorsque cela était possible, nos visualisations ont été mises à disposition en ligne en tant que prototypes. Ces outils sont hautement interactifs et peuvent contribuer à encourager la poursuite de l’interprétation de décisions de modèles par la communauté de recherche
| Origine | Version validée par le jury (STAR) |
|---|