Uncertainty quantification in neural networks : Application to the automated measure of particle size of TiO2
Quantification d'incertitudes au sein des réseaux de neurones : Application à la mesure automatisée de la taille de particules de TiO2
Résumé
The growing use of technological solutions based on deep learning algorithms has exploded in recent years, due to their performance on tasks such as object detection, image and video segmentation and classification, in many fields such as medicine, finance, autonomous driving... In this context, deep learning research is increasingly focusing on improving the performance and understanding of the algorithms used, by attempting to quantify the uncertainty associated with their predictions. Providing this uncertainty is key to the mass dissemination of these new tools in industry, and to overcoming the current obstacles to their use, particularly in critical systems. Indeed, providing information on uncertainty may be of regulatory importance in certain sectors of activity.This manuscript presents our work on uncertainty quantification in neural networks. To begin with, we provide an in-depth overview, explaining the key concepts involved in a metrological framework. Next, we have chosen to focus on the propagation of input uncertainty through an already-trained neural network, in response to a pressing industrial need. The proposed input uncertainty propagation method, named WGMprop, models the network outputs as mixtures of Gaussians, whose uncertainty propagation is ensured by a Split&Merge algorithm equipped with a divergence measure chosen as the Wasserstein distance. We then focused on quantifying the uncertainty inherent in the network parameters. In this context, a comparative study of state-of-the-art methods was carried out. In particular, this study led us to propose a method for local characterization of deep ensembles, which is currently the standard. Our methodology, named WEUQ, enables an exploration of the basins of attraction of the neural network parameter landscape, taking into account the diversity of predictors. Finally, we present our case study, involving the automated measurement of the size distribution of titanium dioxide nanoparticles from images acquired by scanning electron microscopy (SEM). We take this opportunity to describe the development of the technology used, and the methodological choices for quantifying the uncertainties arising from our research.
L'utilisation croissante de solutions technologiques fondées sur des algorithmes d'apprentissage profond a connu une explosion ces dernières années en raison de leurs performances sur des tâches de détection d'objets, de segmentation d'images et de vidéos ou encore de classification, et ce dans de nombreux domaines tels que la médecine, la finance, la conduite autonome ... Dans ce contexte, la recherche en apprentissage profond se concentre de plus en plus sur l'amélioration des performances et une meilleure compréhension des algorithmes utilisés en essayant de quantifier l'incertitude associée à leurs prédictions. Fournir cette incertitude est clé pour une dissémination massive de ces nouveaux outils dans l'industrie et lever les freins actuels pour des systèmes critiques notamment. En effet, fournir l'information de l'incertitude peut revêtir une importance réglementaire dans certains secteurs d'activité.Ce manuscrit expose nos travaux menés sur la quantification de l'incertitude au sein des réseaux de neurones. Pour commencer, nous proposons un état des lieux approfondi en explicitant les concepts clés impliqués dans un cadre métrologique. Ensuite, nous avons fait le choix de nous concentrer sur la propagation de l'incertitude des entrées à travers un réseau de neurones d'ores-et-déjà entraîné afin de répondre à un besoin industriel pressant. La méthode de propagation de l'incertitude des entrées proposée, nommée WGMprop, modélise les sorties du réseau comme des mixtures de gaussiennes dont la propagation de l'incertitude est assurée par un algorithme Split&Merge muni d'une mesure de divergence choisie comme la distance de Wasserstein. Nous nous sommes ensuite focalisés sur la quantification de l'incertitude inhérente aux paramètres du réseau. Dans ce cadre, une étude comparative des méthodes à l'état de l'art a été réalisée. Cette étude nous a notamment conduit à proposer une méthode de caractérisation locale des ensembles profonds, méthode faisant office de référence à l'heure actuelle. Notre méthodologie, nommée WEUQ, permet une exploration des bassins d'attraction du paysage des paramètres des réseaux de neurones en prenant en compte la diversité des prédicteurs. Enfin, nous présentons notre cas d'application, consistant en la mesure automatisée de la distribution des tailles de nanoparticules de dioxyde de titane à partir d'images acquises par microscopie électronique à balayage (MEB). Nous décrivons à cette occasion le développement de la brique technologique utilisée ainsi que les choix méthodologiques de quantification d'incertitudes découlant de nos recherches.
| Origine | Version validée par le jury (STAR) |
|---|