Robustness verification of neural networks using polynomial optimization
Vérification de la robustesse des réseaux de neurones à l'aide de l'optimisation polynomiale
Résumé
Neural networks (NN) are widely and successfully used for many large-scale and complex machine learning tasks, such as image classification, voice recognition recommender system, and have attracted the attention of many community researchers. However, even though neural networks are powerful, they are generally neither robust nor reliable. This means that, for some input examples, neural network classifiers can produce unstable predictions of their labels, i.e. classifiers are sensitive to small input changes, which is problematic in some crucial areas such as auto-driving or aerospace. Therefore, the robustness of neural networks has become a critical issue in the machine learning community in recent years. Robustness for NNs has two main facets: robust training and robust verification. In this thesis, we mainly focus on verifying the robustness of pre-trained NNs. Based on semi-definite programming, we first develop a sublevel hierarchy for polynomial optimization problems and then apply it to robustness verification of NNs. Our approaches show empirical improvements over other related methods.
Les réseaux de neurones (RN) sont largement et avec succès utilisés pour de nombreuses tâches d'apprentissage automatique à grande échelle et complexes, telles que la classification d'images, le système de recommandation de reconnaissance vocale, et ont attiré l'attention de nombreux chercheurs de la communauté. Cependant, même si les réseaux de neurones sont puissants, ils ne sont généralement ni robustes ni fiables. Cela signifie que, pour certains exemples d'entrées, les classificateurs de réseaux de neurones peuvent produire des prédictions instables de leurs étiquettes, c'est-à-dire que les classificateurs sont sensibles aux petits changements d'entrée, ce qui est problématique dans certains domaines cruciaux comme la conduite auto-mobile ou l'aérospatiale. Par conséquent, la robustesse des réseaux de neurones est devenue un problème critique dans la communauté de l'apprentissage automatique ces dernières années. La robustesse a principalement deux facettes : une formation robuste des RN et une vérification robuste des RN. Dans cette thèse, nous nous concentrons principalement sur la vérification de la robustesse des RN pré-formés. Sur la base de la programmation semi-définie, nous développons d'abord une hiérarchie de sous-niveaux pour les problèmes d'optimisation polynomiale, puis nous l'appliquons à la vérification de robustesse des RN. Nos approches montrent des améliorations empiriques par rapport à d'autres méthodes connexes.
| Origine | Version validée par le jury (STAR) |
|---|