Overparametrization, architecture and dynamics of deep neural networks : from theory to practice - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Overparametrization, architecture and dynamics of deep neural networks : from theory to practice

Sur-paramétrisation, architecture et dynamique des réseaux de neurones artificiels : de la théorie à la pratique

Résumé

Deep learning has become the cornerstone of artificial intelligence, and has fueled breakthroughs in a number of fields. Yet, the key reasons underpinning the success of deep neural networks remain to be clarified. The main objective of this thesis is to bridge the gap between theory and practice, armed with the toolbox of statistical physics. We focus on three central questions: (i) the benefit of over-parametrization on generalization, (ii) the inductive bias which stems from their architectural choices and (iii) the dynamics of learning. As an opening, we introduce a novel application of deep learning to the task of symbolic regression, i.e. predicting the expression of a mathematical function from its values.
L’intelligence artificielle, devenue l’un des enjeux technologiques majeurs de notre siècle, est actuellement dominée par les réseaux de neurones artificiels. Si ces derniers ont déjà permis des avancées majeures, leur fonctionnement reste mal compris sur le plan théorique. L’objectif principal de cette thèse est de réduire l’écart entre théorie en pratique, en s’aidant d’outils développés dans la littérature de physique statistique. Nous nous intéresserons à trois questions centrales : (i) l’effet de la sur-paramétrisation sur la généralisation, (ii) les biais inductifs découlant des choix architecturaux et (iii) la dynamique de l’apprentissage. En guise d’ouverture, nous présentons une nouvelle application du deep learning dans le domaine de la régression symbolique, qui consiste à prédire l’expression mathematique d’une fonction à partir de ses valeurs.
Fichier principal
Vignette du fichier
Ascoli_2022_These.pdf (19 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04627374 , version 1 (27-06-2024)

Identifiants

  • HAL Id : tel-04627374 , version 1

Citer

Stéphane d'Ascoli. Overparametrization, architecture and dynamics of deep neural networks : from theory to practice. Physics [physics]. Université Paris sciences et lettres, 2022. English. ⟨NNT : 2022UPSLE052⟩. ⟨tel-04627374⟩
31 Consultations
9 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More