L’intelligence artificielle, devenue l’un des enjeux technologiques majeurs de notre siècle, est actuellement dominée par les réseaux de neurones artificiels. Si ces derniers ont déjà permis des avancées majeures, leur fonctionnement reste mal compris sur le plan théorique. L’objectif principal de cette thèse est de réduire l’écart entre théorie en pratique, en s’aidant d’outils développés dans la littérature de physique statistique. Nous nous intéresserons à trois questions centrales : (i) l’effet de la sur-paramétrisation sur la généralisation, (ii) les biais inductifs découlant des choix architecturaux et (iii) la dynamique de l’apprentissage. En guise d’ouverture, nous présentons une nouvelle application du deep learning dans le domaine de la régression symbolique, qui consiste à prédire l’expression mathematique d’une fonction à partir de ses valeurs.