Contributions to the Verification and Monitoring of Neural Network Systems
Contributions à la vérification et au monitoring des systèmes de réseaux de neurones
Résumé
The evaluation and verification of neural networks (NNs), as a part of their safe design and deployment, becomes a hot research topic, particularly with the recent studies showing their sensitivity and vulnerability to operational conditions (adversarial attacks, environment conditions, etc.). Despite its importance in ensuring the accuracy and the reliability of NNs, test-based approaches for NNs evaluation suffer from several limitations that may impact their effectiveness. To overcome the limitation of NN testing, researchers are exploring formal verification as complementary activity to enhance the reliability and safety of NN-based systems. Indeed, while testing can illustrate the ability of a system to maintain its level of performance under varying conditions, proving this requires some form of formal analysis. NN verification aims to provide formal guarantees regarding the behavior and properties of NNs. It involves analyzing the model's inputs, outputs, and internal computations to ensure that the network behaves correctly and meets the desired specifications. While NN verification is applied before the deployment of the network, NN runtime verification (or monitoring) is used to continuously check and assess the correct behavior of the network during runtime. Broadly speaking, NN monitoring consists in building a monitor that runs in parallel to the network in order to supervise its behavior and decision. If the monitor detects a malfunctioning of the network, or some abnormal behavior, it raises alarms demanding an examination of the current decision. Although these techniques have been successfully applied in solving certain properties of NN, NN verification and monitoring remains challenging, particularly when it comes to verifying large networks with practical interests. This is mainly due to the complexity and the non-linearity of NN models, and the limitations of the traditional formal methods to scale up to large real-world models.In this dissertation, we propose two main contributions to address these challenges, namely (i) NN abstraction (model reduction) for verification purposes and (ii) NN runtime monitoring. In order to enhance the scalability of NN verification, we propose two approaches involving the merging of neurons within the same hidden layer of a network to reduce its size. Both approaches ensure that the resulting reduced model over-approximates the original network. The over-approximation relation is crucial, as it guarantees that any verified property on the reduced model remains valid on the original network. Our proposed approaches rely on mathematical formulas to formally establish and ensure this over-approximation relationship. Additionally, we provide formal proofs of this relation for each approach, thus ensuring the rigor and reliability of our methods.The second contribution involves the development of a monitoring system specifically designed for NNs used in image classification tasks. The key idea behind this approach is to identify and extract relevant path activations that are referred to as NAPath. The computation of NAPaths is performed for each class of images using the training set. Each NAPath serves as a reference pattern that captures the essential characteristics of the associated class. During the runtime, the monitoring system compares the network's classification results to the most similar NAPath. This comparison analysis enables the monitor to evaluate the consistency of the network's classification decisions and detect any potential deviations or misclassification. To evaluate the proposed approaches, we have implemented them as Python tools and carried out a set of experiments on well-known NN benchmarks and/ or railway use cases
L'évaluation et la vérification des réseaux neuronaux (NN), lors de leur conception et de leur déploiement sécurisé, suscitent un vif intérêt de recherche, en particulier à la lumière d'études récentes mettant en évidence leur sensibilité et leur vulnérabilité face à diverses conditions opérationnelles telles que les attaques adverses et les variations environnementales. Bien que leur importance soit cruciale dans l'assurance de la précision et de la fiabilité des NN, les approches fondées sur les tests pour l'évaluation des NN sont entravées par plusieurs limitations qui peuvent compromettre leur efficacité. Afin de remédier à ces limites, des travaux de recherche explorent la vérification formelle comme approche complémentaire pour vérifier la fiabilité et la sécurité des NN. Si les tests peuvent démontrer la capacité d'un système à maintenir ses performances dans des conditions variables, démontrer cela nécessite une analyse formelle approfondie. La vérification des NN vise ainsi à fournir des garanties formelles quant au comportement et aux propriétés des NN. Cela implique une analyse minutieuse des entrées, des sorties et des calculs internes du modèle pour s'assurer que le réseau se comporte correctement vis-à-vis des spécifications requises. Alors que la vérification des NN est, d'une manière générale, effectuée lors de la conception des systèmes, le monitoring des NN, quant à lui, est cruciale pour garantir l'exécution du bon comportement lors de la phase opérationnelle. Pour ce faire, un système de monitoring fonctionne en parallèle du NN, détectant toute anomalie ou comportement inattendu et déclenchant des alertes en cas de besoin. Bien que des succès aient été rencontrés dans certaines applications, la vérification et le monitoring des NN restent des défis, notamment lorsqu'il s'agit de NN complexes ou de taille importante. Cette difficulté découle en grande partie de la complexité et de la non-linéarité des modèles NN, ainsi que des limites des méthodes formelles existantes pour s'adapter à des modèles réels de grande taille. Dans cette thèse, nous proposons deux contributions principales pour répondre aux deux défis susmentionnés. Concrètement, nous proposons des techniques d'abstraction des NN (réduction de modèle) à des fins de vérification, ainsi qu'une approche de monitoring des NN en temps réel spécifiquement conçu pour les tâches de classification d'images. Ces approches d'abstraction de NN visent à améliorer la scalabilité et l'efficacité de la vérification des NN. En se basant sur des formulations mathématiques, nous garantissons que les modèles abstraits résultants conservent les propriétés essentielles (e.g., la sur-approximation) des réseaux d'origine, assurant ainsi la validité des résultats de vérification. Pour la partie monitoring, nous développons un système de surveillance qui identifie et évalue en temps réel les décisions de classification des réseaux par rapport à des modèles de référence spécifiques (motives de surveillance). Enfin, nous validons nos approches à travers des expérimentations menées sur des benchmarks académiques, ainsi qu'un cas d'étude spécifique au domaine ferroviaire
Origine | Version validée par le jury (STAR) |
---|