Improving artificial intelligence reliability through out-of-distribution and misclassification detection
Amélioration de la fiabilité de l'intelligence artificielle par la détection des données hors distribution et des erreurs de classification
Résumé
This thesis explores the intersection of machine learning (ML) and safety, aiming to address challenges associated with the deployment of intelligent systems in real-world scenarios. Despite significant progress in ML, concerns related to privacy, fairness, and trustworthiness have emerged, prompting the need for enhancing the reliability of AI systems. The central focus of the thesis is to enable ML algorithms to detect deviations from normal behavior, thereby contributing to the overall safety of intelligent systems.The thesis begins by establishing the foundational concepts of out-of-distribution (OOD) detection and misclassification detection in Chapter 1, providing essential background literature and explaining key principles. The introduction emphasizes the importance of addressing issues related to unintended and harmful behavior in ML, particularly when AI systems produce unexpected outcomes due to various factors such as mismatches in data distributions.In Chapter 2, the thesis introduces a novel OOD detection method based on the Fisher-Rao geodesic distance between probability distributions. This approach unifies the formulation of detection scores for both network logits and feature spaces, contributing to improved robustness and reliability in identifying samples outside the training distribution.Chapter 3 presents an unsupervised OOD detection method that analyzes neural trajectories without requiring supervision or hyperparameter tuning. This method aims to identify atypical sample trajectories through various layers, enhancing the adaptability of ML models to diverse scenarios.Chapter 4 focuses on consolidating and enhancing OOD detection by combining multiple detectors effectively. It presents a universal method for ensembling existing detectors, transforming the problem into a multi-variate hypothesis test and leveraging meta-analysis tools. This approach improves data shift detection, making it a valuable tool for real-time model performance monitoring in dynamic and evolving environments.In Chapter 5, the thesis addresses misclassification detection and uncertainty estimation through a data-driven approach, introducing a practical closed-form solution. The method quantifies uncertainty relative to an observer, distinguishing between confident and uncertain predictions even in the face of challenging or unfamiliar data. This contributes to a more nuanced understanding of the model's confidence and helps flag predictions requiring human intervention.The thesis concludes by discussing future perspectives and directions for improving safety in ML and AI, emphasizing the ongoing evolution of AI systems towards greater transparency, robustness, and trustworthiness. The collective work presented in the thesis represents a significant step forward in advancing AI safety, contributing to the development of more reliable and trustworthy machine learning models that can operate effectively in diverse and dynamic real-world scenarios.
Cette thèse explore l'intersection cruciale entre l'apprentissage automatique (IA) et la sécurité, visant à résoudre les défis liés au déploiement de systèmes intelligents dans des scénarios réels. Malgré des progrès significatifs en IA, des préoccupations liées à la confidentialité, à l'équité et à la fiabilité ont émergé, incitant à renforcer la fiabilité des systèmes d'IA. L'objectif central de la thèse est de permettre aux algorithmes d'IA d'identifier les écarts par rapport au comportement normal, contribuant ainsi à la sécurité globale des systèmes intelligents.La thèse commence par établir les concepts fondamentaux de la détection des données hors distribution (OOD) et de la détection des erreurs de classification dans le chapitre 1, fournissant une littérature essentielle et expliquant les principes clés. L'introduction souligne l'importance de traiter les problèmes liés au comportement non intentionnel et nuisible en IA, en particulier lorsque les systèmes d'IA produisent des résultats inattendus en raison de divers facteurs tels que des divergences dans les distributions de données.Dans le chapitre 2, la thèse introduit une nouvelle méthode de détection de données hors distribution basée sur la distance géodésique Fisher-Rao entre les distributions de probabilité. Cette approche unifie la formulation des scores de détection pour les logits du réseau et les espaces latents, contribuant à une robustesse et une fiabilité accrues dans l'identification des échantillons en dehors de la distribution d'entraînement.Le chapitre 3 présente une méthode de détection des données hors distribution non supervisée qui analyse les trajectoires neuronales sans nécessiter de supervision ou d'ajustement d'hyperparamètres. Cette méthode vise à identifier les trajectoires d'échantillons atypiques à travers diverses couches, améliorant l'adaptabilité des modèles d'IA à des scénarios divers.Le chapitre 4 se concentre sur la consolidation et l'amélioration de la détection hors distribution en combinant efficacement plusieurs détecteurs. La thèse propose une méthode universelle pour combiner des détecteurs existants, transformant le problème en un test d'hypothèse multivarié et tirant parti d'outils de méta-analyse. Cette approche améliore la détection des changements de données, en en faisant un outil précieux pour la surveillance en temps réel des performances des modèles dans des environnements dynamiques et évolutifs.Dans le chapitre 5, la thèse aborde la détection des erreurs de classification et l'estimation de l'incertitude par une approche axée sur les données, introduisant une solution pratique en forme fermée. La méthode quantifie l'incertitude par rapport à un observateur, distinguant entre prédictions confiantes et incertaines même face à des données difficiles. Cela contribue à une compréhension plus nuancée de la confiance du modèle et aide à signaler les prédictions nécessitant une intervention humaine.La thèse se termine en discutant des perspectives futures et des orientations pour améliorer la sécurité en IA et en apprentissage automatique, soulignant l'évolution continue des systèmes d'IA vers une plus grande transparence, robustesse et fiabilité. Le travail collectif présenté dans la thèse représente une avancée significative dans le renforcement de la sécurité en IA, contribuant au développement de modèles d'apprentissage automatique plus fiables et dignes de confiance, capables de fonctionner efficacement dans des scénarios réels divers et dynamiques.
| Origine | Version validée par le jury (STAR) |
|---|