Le plus grand enjeu actuel de l'apprentissage profond n'est plus la puissance de calcul ni son cadre applicatif qui n'a cessé de s'étendre au cours des deux dernières décennies mais la robustesse des modèles induits. En effet, alors que les applications touchent des domaines industriels critiques variés comme la voiture autonome ou la gestion de réseau électrique, la nécessité de fiabilité, d'explicabilité et de robustesse en intelligence machine en est acerbée. Cependant, et malgré des années de recherche et une communauté de plus en plus active sur le sujet, nous en sommes encore aujourd'hui à un manque de consensus concernant la démarche de certification des réseaux de neurones profonds pour les applications à haut risques. Cette question a attiré de nombreux chercheurs de domaines variés qui ont donc produit des algorithmes et des garanties de forme multiple.Dans cette dissertation nous explorons plusieurs approches où nous détaillons, quand cela est applicable, l'étendue des garanties/algorithmes fournis. Ce travail commence par un état de l'art général des dernières avancées et des méthodes pour la robustesse qui va servir à situer les chapitres qui suivent au sein de la littérature. Ensuite nous examinons de manière empirique une analogie qui lie la robustesse et la notion de couverture: nous démêlons ces deux concepts à l'aide d'une série d'expériences impliquant une nouvelle métrique de couverture sous-différentiable. Nous appuyons nos résultats par une grande diversité de modèles et de bases de données. Par la suite nous proposons une approche nouvelle pour tester la performance des algorithmes calculant la constante de Lipschitz de réseaux de neurones (cette dernière étant intimement liée à la robustesse). Actuellement ces algorithmes sont testés sur des cas réels où la vraie constante de Lipschitz est inconnue. Nous fournissons des cas tests avec une constante de Lipschitz donnée qui sont construits de manière la plus générale possible pour pouvoir comparer de manière objective les algorithmes qui visent à majorer ou approcher la constante de Lipschitz. Pour finir nous présentons un nouvel objectif de substitution pour approcher le problème d'optimisation robuste distributionnelle d'un réseau de neurones. Notre méthode bénéficie de garanties de convergence sous le couvert d'hypothèses raisonnables. Nous présentons des exemples pratiques où notre optimisation lissée donne des résultats équivalents si ce n'est meilleurs que les méthodes état de l'art non garanties de converger.