Unveiling the Transport Dynamics of Neural Networks : a Least Action Principle for Deep Learning - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Unveiling the Transport Dynamics of Neural Networks : a Least Action Principle for Deep Learning

La dynamique de transport des réseaux de neurones : un principe de moindre action pour l'apprentissage en profondeur

Ahmed Skander Karkar

Résumé

Residual connections are ubiquitous in deep learning, since besides residual networks and their variants, they are also present in Transformer architectures. The dynamic view of residual networks views them as analogous to a forward Euler scheme for an ordinary differential equation. We can then say that residual networks transport input points in space, time being represented by the depth of the network. This viewpoint has, for example, led to new architecture inspired by other numerical schemes for differential equations. On the other hand, a bias of residual networks towards small perturbations of the input has been observed. In the context of the dynamic view of residual networks mentioned above, this means a bias towards a small transport cost. In a first paper, we experimentally verify that this bias is beneficial and should be encouraged and we show that forcing the network to approximate an optimal transport map by regularizing its transport cost improves its generalization ability and training stability. In a second paper, we show that applying this transport regularization to successive neural modules that don't back-propagate to each other amounts to following a gradient flow for minimizing the loss in distribution space, thus improving the performance of module-wise training, which consumes a lot less memory than end-to-end training. In a third paper, we propose a detector of adversarial and out-of-distribution samples that is based on the view of residual networks as discrete dynamical systems and show that transport regularization makes adversarial detection easier.
Le point de vue dynamique des réseaux résiduels les considère comme étant analogues à un schéma d'Euler pour une équation différentielle ordinaire. Nous pouvons donc dire que les réseaux résiduels transportent les points d'entrée dans l'espace, le temps étant représenté par la profondeur du réseau. Ce point de vue a par exemple conduit à de nouvelles architectures inspirées d'autres schémas numériques pour les équations différentielles. D'autre part, un biais des réseaux résiduels en faveur de petites perturbations de l'entrée a été observé. Dans le contexte de la vue dynamique des réseaux résiduels mentionnée ci-dessus, ce biais signifie un penchant pour un faible coût de transport. Dans un premier article, nous vérifions expérimentalement que ce biais est bénéfique et devrait être encouragé, et nous montrons que contraindre le réseau à approximer une carte de transport optimale en régularisant son coût de transport améliore sa capacité de généralisation. Dans un deuxième article, nous montrons que l'application de cette régularisation de transport à des modules neuronaux successifs sans rétropropagation entre eux revient à suivre un flux de gradient pour minimiser la perte dans l'espace des distributions, améliorant ainsi les performances de l'entraînement par module. Dans un troisième article, nous proposons un détecteur d'attaques adverses basé sur la vue des réseaux résiduels en tant que systèmes dynamiques discrets, et montrons que la régularisation du transport facilite la détection des attaques adverses.
Fichier principal
Vignette du fichier
KARKAR_Skander_these_2023.pdf (8.62 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04296347 , version 1 (20-11-2023)

Identifiants

  • HAL Id : tel-04296347 , version 1

Citer

Ahmed Skander Karkar. Unveiling the Transport Dynamics of Neural Networks : a Least Action Principle for Deep Learning. Neural and Evolutionary Computing [cs.NE]. Sorbonne Université, 2023. English. ⟨NNT : 2023SORUS306⟩. ⟨tel-04296347⟩
87 Consultations
53 Téléchargements

Partager

Gmail Facebook X LinkedIn More