Sample covariance random matrices arising in artificial neural networks
Matrices aléatoires de covariance et réseaux de neurones artificiels
Résumé
This thesis is devoted to the asymptotic study of some sample covariance random matrices models, by means of analytical methods and in particular by studying their resolvent. It subdivides into two parts. First, we focus on sample covariance matrices derived from matrices with a partial dependence structure in columns. We provide an explicit deterministic equivalent for the resolvent of such models, quantitative in both the dimension and the spectral parameter. This local law-type result enables us to study fine spectral statistics of such matrices, and in particular to specify the speed of convergence of the empirical spectral measures in Kolmogorov distance. Secondly, we study the conjugate kernel model, which modelizes a feed-forward artificial neural network at initialization. This model differs from classical random matrix models in that a real function is applied entry-wise on the matrices. We use the aforementioned results to obtain a quantitative deterministic equivalent for the conjugate kernel resolvent. This equivalent provides a better understanding of the spectral properties of this model, and it highlights a universality phenomenon also known as Gaussian equivalence principle in machine learning.
Cette thèse est consacrée à l'étude asymptotique de certains modèles de matrices aléatoires de covariance empirique, en utilisant une approche analytique et notamment en étudiant leur matrice résolvante. Elle se décompose en deux parties. Dans un premier temps nous nous intéressons aux matrices de covariance issues de matrices avec une structure de dépendance partielle en colonnes. Nous fournissons un équivalent déterministe explicite pour la matrice résolvante de tels modèles, quantitatif en la dimension et le paramètre spectral de la résolvante. Ce résultat de type loi locale permet d'étudier les statistiques spectrales fines de ces matrices, et notamment de préciser la vitesse de convergence des mesures spectrales empiriques en distance de Kolmogorov. Dans un second temps nous étudions le modèle du noyau conjugué, qui reproduit le comportement d'un réseau de neurones artificiels à propagation avant lors de sa phase d'initialisation. Ce modèle se distingue des modèles habituellement considérés en matrices aléatoires par l'application d'une fonction réelle entrée par entrée. Nous utilisons les résultats généraux obtenus précédemment pour obtenir un équivalent déterministe quantitatif pour la résolvante du noyau conjugué. Cet équivalent permet de mieux comprendre les propriétés spectrales de ce modèle, et aussi de donner un sens à un phénomène d'universalité appelé principe d'équivalence gaussienne dans le domaine de l'apprentissage machine.
Origine | Version validée par le jury (STAR) |
---|