Over-Approximating Neural Networks for Verification, Robustness, and Explainability
Sur-approximation de réseaux de neurones : applications à la vérification, la robustesse et les explications de réseaux de neurones
Résumé
The success of deep learning since the early 2010s has led to its adoption in a wide range of applications, from image classification to natural language processing. However, deploying AI models — especially in safety-critical applications — requires strong behavioral guarantees as well as means to understand and explain their predictions. Robustness — the ability of a model to maintain performance under small input changes — is an important safety requirement and helps in formally explaining model predictions.Over-approximation techniques, introduced by the machine learning and formal methods communities, have emerged as a key tool to verify neural networks and to train them with provable robustness goals. By bounding the range of possible network outputs, they make it possible to prove desirable properties for all possible inputs within a specified input domain. In this thesis we investigate how over-approximations can be effectively exploited to further improve the verification, training, and formal explainability of neural networks.Such over-approximations are essential to make the analysis tractable for neural networks of moderate scale, but they also tend to be imprecise, in particular for networks trained with no robustness goals. In a first contribution we leverage key information from over-approximations to efficiently tighten bounds when verifying trained networks with low-dimensional input spaces. This technique is implemented in PyRAT, a neural network verification tool, and contributed to its success in several benchmarks of the latest edition of the International Verification of Neural Networks Competition (VNN-COMP 2024).A second contribution shows that certified training - using over-approximations to minimize a sound bound on the worst-case loss - can be mixed with adversarial training - computing the loss over perturbed training samples - to improve empirical robustness and prevent catastrophic overfitting, a failure mode of single-step adversarial training, under specific experimental settings.Finally, we propose to use over-approximations to train for formal explainability. To avoid the trivial case where robustness voids all explanations, we introduce Feature Subset Certified Training, a new scheme that enforces robustness only over selected subsets of input features, a first step towards better trade-offs between accuracy and conciseness of the explanations.Together, these contributions illustrate how over-approximations can be leveraged towards better robustness and explainability, supporting the development of safer and more trustworthy AI systems.
Depuis le début des années 2010, le succès de l'apprentissage profond a conduit à son adoption dans un large éventail d'applications, allant de la classification d'images au traitement du langage naturel. Cependant, le déploiement de modèles d'IA — en particulier dans des systèmes critiques — nécessite à la fois de fortes garanties et des moyens de comprendre et d'expliquer leurs prédictions. La robustesse — la capacité d'un modèle à maintenir ses performances face à de petites perturbations de ses entrées — constitue un prérequis important en matière de sécurité et contribue à l'explicabilité formelle des prédictions du modèle.Les techniques de sur-approximation, introduites par les communautés de l'apprentissage automatique et des méthodes formelles, se sont imposées comme un outil clé pour vérifier les réseaux de neurones et les entraîner avec des objectifs de robustesse prouvable. En bornant l'ensemble des sorties possibles d'un réseau, elles permettent de prouver certaines propriétés souhaitées pour toutes les entrées appartenant à un domaine donné. Dans cette thèse, nous étudions dans quelle mesure ces sur-approximations peuvent être utilisées de manière efficace pour améliorer la vérification, l'apprentissage et l'explicabilité formelle des réseaux de neurones.De telles sur-approximations sont essentielles pour rendre possible l'analyse de réseaux de neurones de taille réaliste, mais elles ont également tendance à être imprécises, en particulier pour des réseaux entraînés sans objectif explicite de robustesse. Dans une première contribution, nous exploitons des informations clés issues des sur-approximations pour affiner efficacement les bornes lors de la vérification de réseaux avec des espaces d'entrée de faible dimension. Cette technique est implémentée dans PyRAT, un outil de vérification de réseaux de neurones, et a contribué à ses bons résultats dans la dernière édition de la compétition internationale de vérification de réseaux de neurones (VNN-COMP 2024).Une seconde contribution montre que l'entraînement certifié — qui utilise des sur-approximations pour minimiser une borne de la fonction de coût dans le pire cas — peut être combiné à l'entraînement adversarial — qui calcule la fonction de coût sur des échantillons d'entraînement perturbés — afin d'améliorer la robustesse empirique et de prévenir le catastrophic overfitting, un mode d'échec de l'entraînement adversarial, dans certains contextes expérimentaux.Enfin, nous proposons d'utiliser les sur-approximations pour entraîner des modèles en vue d'une explicabilité formelle. Afin d'éviter le cas trivial où la robustesse rend toute explication vide, nous introduisons le Feature Subset Certified Training, un nouveau mode d'entraînement qui impose la robustesse uniquement sur certains sous-ensembles des features des échantillons, un premier pas vers de meilleurs compromis entre précision et concision des explications formelles.Dans l'ensemble, ces contributions illustrent comment les sur-approximations peuvent être mises à profit pour améliorer la robustesse et l'explicabilité, soutenant ainsi le développement de systèmes d'IA plus sûrs et plus dignes de confiance.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
