A dynamical analysis of infinitely wide neural networks - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2024

A dynamical analysis of infinitely wide neural networks

Analyse dynamique des réseaux de neurones de largeur infinie

Karl Hajjar
  • Fonction : Auteur
  • PersonId : 1375497
  • IdRef : 277088879

Résumé

Neural networks have had tremendous success in many practical tasks over the last decade, yet the theoretical reasons behind their performance are poorly understood and we lack a proper mathematical theory to rigorously study the properties of those objects. Infinite-width limits of neural networks have recently emerged as a way to shed light on some of the aspects of the problem. In this thesis, we study the infinite-width limit of networks of different depths under a particular scaling often referred to as the ''mean-field'' scaling in the literature. Part of the reason why neural networks are difficult to analyze from a theoretical standpoint is because they are highly non-linear and involve a huge amount of parameters, or weights, (up to hundreds of billions in practice) which interact as they are updated during gradient descent. We investigate the optimization trajectories of the infinite-width limit of neural networks during training in order to exhibit properties of those models in simple settings such as fully-connected networks with one or more hidden layers. This thesis focuses on different aspects of the optimization dynamics of networks in the infinite-width limit: from methods to enable training those models at arbitrary depths to the symmetry properties that can emerge in that limit as well as novel optimization algorithms which adapt the number of neurons in an on-line fashion during training.
Durant la dernière décennie, les réseaux de neurones ont eu un succès retentissant dans de nombreuses tâches en pratique, cependant les arguments théoriques derrière ce succès restent insuffisants et une théorie mathématique appropriée pour étudier rigoureusement ces objets fait toujours défaut. Les limites des réseaux de neurones à largeur infinie sont récemment apparues comme une façon d'éclaircir certains aspects du problème. Dans cette thèse, nous étudions la limite des réseaux de neurones de largeur infinie avec une renormalisation particulière souvent dénommée ''champ moyen'' dans la littérature. La difficulté d'analyser les réseaux de neurones d'un point de vue théorique réside en partie dans la nature hautement non-linéaire de ces objets et dans l'énorme quantité de paramètres, ou poids (pouvant aller jusqu'à la centaine de milliards en pratique) qui interagissent lorsqu'ils sont mis à jour durant la descente de gradient. Nous examinons les trajectoires durant l'optimisation des réseaux de neurones de largeur infinie pendant la phase d'entraînement afin d'exhiber des propriétés de ces modèles dans certains cadres simples tels que les réseaux de neurones entièrement connectés avec une ou plusieurs couches cachées. Cette thèse traite de différents aspects de la dynamique d'optimisation des réseaux de neurones de largeur infinie: des méthodes pour rendre possible l'entraînement de ces modèles aux symétries qui peuvent émerger dans cette limite en passant par de nouveaux algorithmes d'optimisation qui adaptent le nombre de neurones à la volée durant la phase d'entraînement.
Fichier principal
Vignette du fichier
126018_HAJJAR_2024_archivage.pdf (3.15 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04548479 , version 1 (16-04-2024)

Identifiants

  • HAL Id : tel-04548479 , version 1

Citer

Karl Hajjar. A dynamical analysis of infinitely wide neural networks. Machine Learning [stat.ML]. Université Paris-Saclay, 2024. English. ⟨NNT : 2024UPASM001⟩. ⟨tel-04548479⟩
0 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More