Verification and validation of Machine Learning techniques
Vérification et validation de techniques d'apprentissage machine
Résumé
Machine Learning techniques, Neural Networks in particular,are going through an impressive expansion, permeating various domains, becoming the next frontier forhuman societies. Autonomous vehicles, aircraft collisionavoidance, cancer detection, justice advisors, or mooring line failure detection are but a few examples of Neural Networks applications.This effervescence, however, may hold more than benefits,as it slowly but surely reaches critical systems.Indeed, the remarkable efficiency of neural nets comes at a price, more and more underlined by the scientific consensus : weakness to environmental or adversarial perturbations, unpredictability... which prevents their full-scale integration into critical systems. While the domain of critical software enjoys a plethora of methods that help verify and validate software (abstract interpretation, model checking, simulation, bounded tests...),these methods are generally useless when it comes to Neural Nets.This thesis aims at bridging formal software verification and machine learning, in order to bring trust in critical systems incorporating Neural Networks elements.
L'apprentissage machine, en particulier au moyen des réseaux de neurones artificiels, connaît depuis une dizaine d'année une expansion impressionnante.Véhicules autonomes, capteurs d'anomalies d'ancrage sur des plateformes offshores, détecteurs de collision d'aéronefs,aide au diagnostic pour différents cancers sont autant d'applications faisant intervenir les technologies d'apprentissage profond au sein de systèmes critiques;ouvrant des perspectives inexplorées pour les sociétés humaines. Bien que bénéfique en apparence,cette révolution a de quoi inquiéter à mesure qu'elle se concrétise : la fragilité de ces techniques d'apprentissage est désormais un fait scientifique établi.La taxonomie des vulnérabilités, qu'elles soient accidentelles ou malicieuses, remet en question la possibilité d'intégrer des réseaux de neurones dans des domaines critiques qui pourraient pourtant en bénéficier. A l'heure actuelle, peu de méthodes permettent de démontrer formellement la fiabilité d'un réseau de neurones.Par contraste, le domaine du logiciel critique, quant à lui, jouit d’une multitude de méthodes et techniques : vérification formelle, model checking, simulation, interprétation abstraite, tests dirigés, etc. L'objectif de cette thèse est de réconcilier l'abondance des techniques de vérification de programmes classiques et l'absence de garanties sur les réseaux de neurones, ce pour permettre aux logiciels critiques de conserver le haut niveau de confiance qu'ils ont atteint quand ils seront inévitablement modifiés avec des mécanismes d'apprentissage machine.
| Origine | Version validée par le jury (STAR) |
|---|