Combining supervised deep learning and scientific computing : some contributions and application to computational fluid dynamics
Contributions à la combinaison entre apprentissage profond supervisé et calcul scientifique, application à la simulation de dynamique des fluides.
Résumé
Recent innovations in mathematics, computer science, and engineering have enabled more and more sophisticated numerical simulations. However, some simulations remain computationally unaffordable, even for the most powerful supercomputers. Lately, machine learning has proven its ability to improve the state-of-the-art in many fields, notoriously computer vision, language understanding, or robotics. This thesis settles in the high-stakes emerging field of Scientific Machine Learning which studies the application of machine learning to scientific computing. More specifically, we consider the use of deep learning to accelerate numerical simulations.We focus on approximating some components of Partial Differential Equation (PDE) based simulation software by a neural network. This idea boils down to constructing a data set, selecting and training a neural network, and embedding it into the original code, resulting in a hybrid numerical simulation. Although this approach may seem trivial at first glance, the context of numerical simulations comes with several challenges. Since we aim at accelerating codes, the first challenge is to find a trade-off between neural networks’ accuracy and execution time. The second challenge stems from the data-driven process of the training, and more specifically, its lack of mathematical guarantees. Hence, we have to ensure that the hybrid simulation software still yields reliable predictions. To tackle these challenges, we thoroughly study each step of the deep learning methodology while considering the aforementioned constraints. By doing so, we emphasize interplays between numerical simulations and machine learning that can benefit each of these fields.We identify the main steps of the deep learning methodology as the construction of the training data set, the choice of the hyperparameters of the neural network, and its training. For the first step, we leverage the ability to sample training data with the original software to characterize a more efficient training distribution based on the local variation of the function to approximate. We generalize this approach to general machine learning problems by deriving a data weighting methodology called Variance Based Sample Weighting. For the second step, we introduce the use of sensitivity analysis, an approach widely used in scientific computing, to tackle neural network hyperparameter optimization. This approach is based on qualitatively assessing the effect of hyperparameters on the performances of a neural network using Hilbert-Schmidt Independence Criterion. We adapt it to the hyperparameter optimization context and build an interpretable methodology that yields competitive and cost-effective networks. For the third step, we formally define an analogy between the stochastic resolution of PDEs and the optimization process at play when training a neural network. This analogy leads to a PDE-based framework for training neural networks that opens up many possibilities for improving existing optimization algorithms. Finally, we apply these contributions to a computational fluid dynamics simulation coupled with a multi-species chemical equilibrium code. We demonstrate that we can achieve a time factor acceleration of 21 with controlled to no degradation from the initial prediction.
Cette thèse s’inscrit dans le domaine émergent de l’apprentissage automatique scientifique, qui étudie l’application de l’apprentissage automatique au calcul scientifique. Plus précisément, nous nous intéressons à l’utilisation de l’apprentissage profond pour accélérer des simulations numériques.Pour atteindre cet objectif, nous nous concentrons sur l’approximation de certaines parties des logiciels de simulation basés sur des Equations Différentielles Partielles (EDP) par un réseau de neurones. La méthodologie proposée s'appuie sur la construction d’un ensemble de données, la sélection et l'entraînement d’un réseau de neurones et son intégration dans le logiciel original, donnant lieu à une simulation numérique hybride. Malgré la simplicité apparente de cette approche, le contexte des simulations numériques implique des difficultés spécifiques. Puisque nous visons à accélérer des simulations, le premier enjeu est de trouver un compromis entre la précision des réseaux de neurones et leur temps d’exécution. En effet, l’amélioration de la première implique souvent la dégradation du second. L’absence de garantie mathématique sur le contrôle de la précision numérique souhaitée inhérent à la conception du réseau de neurones par apprentissage statistique constitue le second enjeu. Ainsi nous souhaiterions maitriser la fiabilité des prédictions issues de notre logiciel de simulation hybride. Afin de satisfaire ces enjeux, nous étudions en détail chaque étape de la méthodologie d’apprentissage profond. Ce faisant, nous mettons en évidence certaines similitudes entre l'apprentissage automatique et la simulation numérique, nous permettant de présenter des contributions ayant un impact sur chacun de ces domaines.Nous identifions les principales étapes de la méthodologie d’apprentissage profond comme étant la constitution d’un ensemble de données d’entraînement, le choix des hyperparamètres d’un réseau de neurones et son entraînement. Pour la première étape, nous tirons parti de la possibilité d’échantillonner les données d’entraînement à l'aide du logiciel de simulation initial pour caractériser une distribution d’entraînement plus efficace basée sur la variation locale de la fonction à approcher. Nous généralisons cette observation pour permettre son application à des problèmes variés d’apprentissage automatique en construisant une méthodologie de pondération des données appelée ”Variance Based Sample Weighting”. Dans un deuxième temps, nous proposons l’usage de l’analyse de sensibilité, une approche largement utilisée en calcul scientifique, pour l’optimisation des hyperparamètres des réseaux de neurones. Cette approche repose sur l’évaluation qualitative de l’effet des hyperparamètres sur les performances d’un réseau de neurones à l'aide du critère d'indépendance de Hilbert-Schmidt. Les adaptations au contexte de l’optimisation des hyperparamètres conduisent à une méthodologie interprétable permettant de construire des réseaux de neurones à la fois performants et précis. Pour la troisième étape, nous définissons formellement une analogie entre la résolution stochastique d’EDPs et le processus d’optimisation en jeu lors de l'entrainement d’un réseau de neurones. Cette analogie permet d’obtenir un cadre pour l’entraînement des réseaux de neurones basé sur la théorie des EDPs, qui ouvre de nombreuses possibilités d’améliorations pour les algorithmes d’optimisation existants. Enfin, nous appliquons ces méthodologies à une simulation numérique de dynamique des fluides couplée à un code d’équilibre chimique multi-espèces. Celles-ci nous permettent d’atteindre une accélération d’un facteur 21 avec une dégradation de la précision contrôlée ou nulle par rapport à la p rédiction initiale.
| Origine | Version validée par le jury (STAR) |
|---|