Calculs numériques et modèles : études de cas pour les disques durs en physique statistique et pour l'apprentissage profond
Computation and models : case studies for hard disks in statistical physics and for deep learning
Résumé
This thesis studies two specific cases of computation. One is the simulation of the hard-disk model using Markov-chain Monte Carlo algorithms, and the other is deep learning. Chapters two to seven concern the hard-disk model. We parallelize the fast (straight) event-chain Monte Carlo algorithm by introducing a rigorous criteria that enforces causality. We achieve superior performance through lock-free programming, and formally verify the implementation. We benchmark the variants of the event-chain Monte Carlo algorithms by hard-disk configurations derived from sparse packings. We show that these variants, varying only in detail, scale differently with respect to the relaxation parameter of the configuration, confirming our scaling theory. We derive efficient formulas estimating pressure from both of its definitions. With these formulas, state-of-the-art implementation of the sampling algorithms, and proper statistical analysis, we evaluate pressure and its error bar to unprecedented precision. Both optimization algorithm and loss landscape featured in deep learning are discussed in this thesis. We find out that the stochastic gradient descent algorithm shows undesired behavior such as converging to a local maximum or failing to escape a saddle point in the toy models we have designed. We find the closed-form expression of minima in a deep linear network with dropout and weight decay and demonstrate that, depending on the depth, there can be an undesired minimum at the origin of parameter space
Cette thèse étudie deux cas particuliers de calcul numérique. L’un est la simulation numérique du modèle des disques durs à l’aide des Méthodes de Monte-Carlo par chaînes de Markov, et l’autre est l’apprentissage profond. Les chapitres deux à sept concernent le modèle des disques durs. Nous parallélisons l’algorithme rapide de (straight) event-chain Monte Carlo en instaurant un critère simple qui enforce la causalité. Nous atteignons des performances supérieures grâce à la programmation lock-free et avons formellement vérifié la mise en œuvre. Nous comparons les variantes des algorithmes de event-chain Monte Carlo par des configurations des disques durs dérivées d’empilements clairsemés. Nous montrons que ces variantes, ne variant que dans le détail, s’échelonnent différemment par rapport au paramètre de relaxation de la configuration, confirmant notre théorie d’échelle. Nous nous dérivons des formules efficaces estimant la pression à partir de ses deux définitions. Avec ces formules, une mise en œuvre de pointe des algorithmes d’échantillonnage et une analyse statistique appropriée, nous évaluons la pression et sa barre d’erreur avec une précision sans précédent. L’algorithme d’optimisation et la fonction objectif présentés dans l’apprentissage profond sont abordés dans cette thèse. Nous découvrons que l’algorithme du gradient stochastique montre des comportements indésirables tel que converger vers un maximum local ou ne pas échapper à un point col dans les modèles simplifiés que nous avons conçus. Nous trouvons l’expression exactement des minima dans un réseau linéaire profond avec décrochage et dégradation des pondérations et démontrons que, selon la profondeur, il peut y avoir un minimum indésirable à l’origine de l’espace des paramètres.
Origine | Version validée par le jury (STAR) |
---|