Development of interpretability methods for certifying machine learning models applied to critical systems
Développement de méthodes d'interprétabilité en apprentissage automatique pour la certification des intelligences artificielles reliées aux systèmes critiques
Résumé
Machine learning algorithms, which have significantly contributed to modern artificial intelligence (AI) advancement, have repeatedly demonstrated their performance in predicting complex tasks. However, despite the potential benefits of using these methods for modeling critical industrial systems (computation time, data value, hybridization between physics and experimental data), these algorithms have not yet been widely adopted in modern engineering practices. Empirical results on benchmark datasets do not seem sufficient to convince safety and control authorities responsible for industrial activities. This thesis aims to develop methods for validating the use of black-box models (particularly those embedded in AI systems) through the study of uncertainties. A general and comprehensive mathematical formalism is proposed for the theoretical study of black-box model interpretability methods. This methodological work unifies two closely related research areas: sensitivity analysis (SA) of numerical models and post-hoc interpretability. Two central themes to this thesis are influence quantification and robustness to probabilistic perturbations. Special attention is paid to the framework and theoretical properties of the proposed methods to provide compelling tools that go beyond empirical considerations. Illustrations of their use on real-world problem cases support the consistency of their practical use. The consideration of dependent inputs, i.e., when the inputs of the black-box models are not assumed to be mutually independent, plays a significant role in the research conducted. This consideration has allowed the generalization of existing methods in SA and explainable artificial intelligence (XAI). Beyond their relevant theoretical properties, these new methods are more consistent with practical studies, where collected data is often correlated. In particular, a probabilistic perturbation strategy that preserves this dependence based on optimal transport methods is proposed. Furthermore, a generalization under non-mutually independent assumptions of the Hoeffding functional decomposition is also demonstrated. It allows the extension of a multitude of existing methods used in practice. The presented work is closely related to various mathematical domains: statistics, probability, algebraic combinatorics, optimization, optimal transport, functional analysis, and cooperative game theory. Several connections between these disciplines are established to provide a global and comprehensive view of black-box model interpretability research.
Les algorithmes d'apprentissage automatique, qui ont énormément contribué à l'essor de l'intelligence artificielle (IA) moderne, ont démontré à maintes reprises leur haute performance pour la prévision de tâches complexes. Cependant, malgré le gain manifeste évident lié à l'utilisation de ces méthodes pour l'accélération et l'amélioration de la performance de tâches d'ingénierie variées (mise en relation d'informations collectées par des capteurs, détection de signaux rares, etc.), incluant en particulier la modélisation de systèmes critiques industriels (temps de calcul, valorisation de données récoltées, hybridation entre la physique et les données expérimentales), la modélisation par apprentissage automatique n'est toujours pas largement adoptée dans les pratiques d'ingénierie moderne. Les résultats empiriques des modèles appris sur certains jeux de données (benchmarks) ne suffisent pas à convaincre les instances de sûreté et de contrôle en charge des activités industrielles. Cette thèse a pour but de développer des méthodes permettant la validation de l'usage de modèles boîtes-noires (dont les IA) par le biais de l'étude des incertitudes. Un formalisme mathématique global est proposé pour l'étude théorique des méthodes d'interprétabilité des modèles boîtes noires. Ce travail méthodologique permet de rapprocher deux domaines très proches : l'analyse de sensibilité (SA) des modèles numériques et l'interprétabilité post-hoc. Deux thématiques concrètes sont au cœur des travaux de cette thèse : la quantification d'influence et l'étude de robustesse face aux perturbations probabilistes. Une attention particulière est portée au cadre et aux propriétés théoriques des méthodes proposées dans le but d'offrir des outils convaincants allant au-delà des considérations empiriques. Des illustrations de leur utilisation, sur des cas d'études issues de problématiques réelles, permettent d'étayer la cohérence de leur utilisation en pratique. La situation d'entrées dépendantes, c'est-à-dire lorsque les entrées du modèles boîte-noire ne sont pas supposées mutuellement indépendantes, prennent une place importante dans les travaux menés. Cette considération a permis la généralisation de méthodes existantes en SA et en intelligence artificielle explicable (XAI). Au-delà de leurs propriétés théoriques pertinentes, ces nouvelles méthodes sont davantage cohérentes avec les études pratiques, où les données récoltées sont souvent corrélées. En particulier, un stratagème de perturbation probabiliste conservant cette dépendance fondé sur des méthodes de transport optimal est proposé. De plus, une généralisation sous des hypothèses peu restrictives de la décomposition fonctionnelle d'Hoeffding est également démontrée. Elle permet d'étendre à un contexte non mutuellement indépendant une multitude de méthodes déjà existantes et utilisées en pratique. Les travaux présentés sont en lien étroit avec différents domaines mathématiques : statistiques, probabilités, combinatoire algébrique, optimisation, transport optimal, analyse fonctionnelle et théorie des jeux coopératifs. Plusieurs liens entre ces disciplines sont établis afin d'offrir une vision générale de l'étude d'interprétabilité des modèles boîtes-noires.
| Origine | Version validée par le jury (STAR) |
|---|