Understanding and enforcing robustness in neural networks, modern perspectives and challenges - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Understanding and enforcing robustness in neural networks, modern perspectives and challenges

Comprendre et instiller la robustesse dans les réseaux de neurones, perspectives et défis contemporains

Résumé

The current challenge of Deep Learning is no longer the computational power nor its scope of application that has drastically widened in the couple last decades but the robustness of the produced models. Indeed, now that applications have reached numerous high risk domains such as autonomous cars or power grid management, the concerns for a reliable, explainable and robust artificial intelligence have grown as well. However, as of today, and despite years of research and an ever-growing active community, the question on how to certify neural networks for high risk production environments never came up with a consensus. The question has attracted many different researchers with different backgrounds and thus produced very different guarantees and/or algorithms.In this dissertation we provide various approaches where we detail, when applicable, the extent of the guarantees or algorithms given. This work starts with a survey of robustness techniques and advances that will serve to locate the following chapters in the literature. Then, we empirically put to the test an analogy that ties coverage and robustness together: we disentangle these two concepts via a set of different experiments that resort to a new subdifferentiable metric of coverage. We support our claims with a large range of datasets and state of the art models. Furthermore, we present a novel approach for assessing the quality of algorithms used for computing the Lipschitz constant of neural networks that are closely tied to robustness. Currently, these algorithms are tested against real world use cases where the actual result is unknown. We thus provide use cases with prescribed Lipschitz constants designed as general as possible in order to compare in an objective way the algorithms aiming at upper bounding or approximating the Lipschitz constant. Finally, we present a new optimization objective that acts as a proxy to tackle the distributional robust optimization of a deep neural network. Our procedure provides convergence guarantees under reasonable hypothesis. We present practical examples where the guaranteed smoothed optimization provides equivalent or better results than state of the art robust learning methods.
Le plus grand enjeu actuel de l'apprentissage profond n'est plus la puissance de calcul ni son cadre applicatif qui n'a cessé de s'étendre au cours des deux dernières décennies mais la robustesse des modèles induits. En effet, alors que les applications touchent des domaines industriels critiques variés comme la voiture autonome ou la gestion de réseau électrique, la nécessité de fiabilité, d'explicabilité et de robustesse en intelligence machine en est acerbée. Cependant, et malgré des années de recherche et une communauté de plus en plus active sur le sujet, nous en sommes encore aujourd'hui à un manque de consensus concernant la démarche de certification des réseaux de neurones profonds pour les applications à haut risques. Cette question a attiré de nombreux chercheurs de domaines variés qui ont donc produit des algorithmes et des garanties de forme multiple.Dans cette dissertation nous explorons plusieurs approches où nous détaillons, quand cela est applicable, l'étendue des garanties/algorithmes fournis. Ce travail commence par un état de l'art général des dernières avancées et des méthodes pour la robustesse qui va servir à situer les chapitres qui suivent au sein de la littérature. Ensuite nous examinons de manière empirique une analogie qui lie la robustesse et la notion de couverture: nous démêlons ces deux concepts à l'aide d'une série d'expériences impliquant une nouvelle métrique de couverture sous-différentiable. Nous appuyons nos résultats par une grande diversité de modèles et de bases de données. Par la suite nous proposons une approche nouvelle pour tester la performance des algorithmes calculant la constante de Lipschitz de réseaux de neurones (cette dernière étant intimement liée à la robustesse). Actuellement ces algorithmes sont testés sur des cas réels où la vraie constante de Lipschitz est inconnue. Nous fournissons des cas tests avec une constante de Lipschitz donnée qui sont construits de manière la plus générale possible pour pouvoir comparer de manière objective les algorithmes qui visent à majorer ou approcher la constante de Lipschitz. Pour finir nous présentons un nouvel objectif de substitution pour approcher le problème d'optimisation robuste distributionnelle d'un réseau de neurones. Notre méthode bénéficie de garanties de convergence sous le couvert d'hypothèses raisonnables. Nous présentons des exemples pratiques où notre optimisation lissée donne des résultats équivalents si ce n'est meilleurs que les méthodes état de l'art non garanties de converger.
Fichier principal
Vignette du fichier
sygal_fusion_42207-piat-william_6426d3f737b37.pdf (1.88 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04053885 , version 1 (31-03-2023)

Identifiants

  • HAL Id : tel-04053885 , version 1

Citer

William Piat. Understanding and enforcing robustness in neural networks, modern perspectives and challenges. Computer science. Normandie Université, 2023. English. ⟨NNT : 2023NORMC202⟩. ⟨tel-04053885⟩
110 Consultations
146 Téléchargements

Partager

Gmail Facebook X LinkedIn More