Statistical mechanics of inference problems with correlated patterns : an incursion between the replica method and message passing algorithms - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Statistical mechanics of inference problems with correlated patterns : an incursion between the replica method and message passing algorithms

Mécanique statistique de l'apprentissage avec données corrélées : entre méthode des répliques et algorithmes de passage de messages

Résumé

In the last decade, machine learning techniques have achieved tremendous progresses and yield many applications. However, they are very hard to analyze, due to the huge number of parameters involved in deep networks dealing with real-world data. Statistical physics have a long-standing tradition of studying neural networks and inference problems, starting in the 80s, that initially focused on simplified models with random data. As algorithms recently became more efficient, the physics community witnessed a renewal of interest in the topic, attempting to provide solid theoretical foundations by studying synthetic problems and describing the typical, most probable case. In particular, physicists use heuristic methods developed in the spin glass field, such as the replica method. In this thesis, we approach several problems through a Bayesian inference setting. A first physical result is derived for the inverse Ising problem with sparse teacher weights. We then consider compressed sensing and observe that several classes of structured matrices share the same phase transitions, in the noiseless reconstruction case, and provide an explanation in the case of right rotationally invariant matrices. We build on the link between statistical physics and message passing algorithms, to prove the replica result characterizing the optimal reconstruction performance for linear regression with convex penalty. We also extend this result to the generalized linear model, which adds non-linearity and describes a two-layer neural network. Both results tackle the case of rotationally invariant data matrices, which goes beyond the usual assumption of identically and independently distributed data, and allows for correlated patterns. Finally, we show that the Rademacher complexity, that provides a worst-case bound for the generalization gap in classification problems, shares a deep connection with the ground state free energy of the corresponding physical problem, and can be computed in some settings.
Au cours de la dernière décennie, les techniques d’apprentissage automatique ont connu de formidables progrès, et donnent lieu à de nombreuses applications. Elles sont néanmoins très difficiles à analyser, car elles impliquent l’utilisation de réseaux de neurones profonds sur des données réelles, régis par un nombre énorme de paramètres. La physique statistique s’est depuis longtemps attaquée à l’étude des réseaux de neurones et des problèmes d’inférence, ce dès les années 80, se penchant d’abord sur des modèles simplifiés avec données aléatoires. Les algorithmes actuels gagnant en performance, un renouveau d’intérêt a secoué la communauté physique, qui s’est de nouveau attablée à leur étude ; s’efforçant de fournir des piliers de compréhension théorique solide à travers des problèmes synthétiques qui décrivent les cas les plus probables. Les physiciens emploient en particulier des méthodes heuristiques développées dans le domaine des verres de spin, telle la méthode des répliques. Dans cette thèse, nous approchons plusieurs problèmes à travers un formalisme d’inférence Bayesienne. Un premier résultat physique est obtenu pour le problème inverse d’Ising, dans le cas d’un réseau enseignant à poids épars - en grande partie nuls. Nous nous tournons ensuite vers l’acquisition comprimée, et observons que plusieurs classes de matrices structurées partagent les mêmes transitions dans le cas d’une reconstruction sans bruit, et nous expliquons ce phénomène pour les matrices invariantes par rotation à droite. Nous exploitons le lien entre physique statistique et algorithmes de passage de messages pour démontrer la formule des répliques qui caractérise la performance optimale de reconstruction pour une régression linéaire avec pénalité convexe. Nous étendons ce résultat au modèle linéaire généralisé, qui incorpore des non-linéarités et décrit un réseau de neurones à deux couches. Ces deux résultats concernent des matrices invariantes par rotation, dépassant ainsi l’hypothèse commune de données identiquement et indépendamment distribuées, et permettant d’incorporer des corrélations entre données. Enfin, nous montrons que la complexité de Rademacher, qui fournit un encadrement de l’écart de généralisation dans le pire des cas pour des problèmes de classification binaire, est intimement liée à l’énergie libre fondamentale du problème physique correspondant, et peut être calculée dans certains cas.
Fichier principal
Vignette du fichier
Abbara_2020_These.pdf (4.03 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03497407 , version 1 (20-12-2021)

Identifiants

  • HAL Id : tel-03497407 , version 1

Citer

Alia Abbara. Statistical mechanics of inference problems with correlated patterns : an incursion between the replica method and message passing algorithms. Mathematical Physics [math-ph]. Université Paris sciences et lettres, 2020. English. ⟨NNT : 2020UPSLE031⟩. ⟨tel-03497407⟩
85 Consultations
139 Téléchargements

Partager

Gmail Facebook X LinkedIn More