Wilson’s Algorithm for Randomized Linear Algebra
Algorithme de Wilson pour l'Algèbre Linéaire Randomisée
Résumé
An extensive range of problems in machine learning deals with data structured over networks/graphs.The examples vary from drug discovery to traffic forecasting, social network analysis to recommender systems, or epidemic analysis to natural language processing. Along with the exploding size and number of data, a big chunk of the proposed algorithms has focused on analyzing, representing and leveraging the network structures in the last decades.In many of them, the graph Laplacian is the central object.They are notable matrix representations of graphs that relate to various aspects. For example, by analyzing the Laplacian algebraically, one can measure the connectivity, count the number of spanning trees or generate a visualization of a graph.Further examples can be found in the problems of node clustering, graph sparsification, signal processing on graphs and many more.However, the algebraic analysis of Laplacian can be frustratingly time-consuming if the graph consists of a large number of nodes.Despite many numerical tools specialized for the graph Laplacian, in certain cases, the computational time remains one of the main issues.Random spanning forests (RSFs), a random process on graphs, is a probabilistic tool for analyzing graphs with strong links with the Laplacian.In a nutshell, RSFs provide meaningful random sketches (spanning forests) of the graph to analyze some properties of interest.These sketches are cheap to obtain by a variant of Wilson's algorithm.Moreover, by only looking at a few of them, one can deduce significant statistical and/or algebraic information on the overall graph.The existing applications of RSFs, including graph wavelet analysis, semi-supervised learning on graphs or centrality analysis, show that RSFs provide useful information while binding diverse aspects of graphs.In this manuscript, we present ways of leveraging the rich connections between RSFs and the graph Laplacian to speed up the algebraic analysis.In doing so, we propose randomized algorithms to approximate several quantities of interest, such as the regularized inverse of the Laplacian or effective resistances.Interestingly, these quantities are required in a wide range of applications on graphs, including graph signal filtering, hyper-parameter tuning, graph-based optimization and sparsification. We illustrate these methods on real-life networks and compare them with state-of-the-art methods.
Un large éventail de problèmes d'apprentissage automatique traite des {données structurées sur des réseaux/graphes}.Les exemples vont de la découverte de médicaments aux prévisions de trafic, de l'analyse des réseaux sociaux aux systèmes de recommandation, ou de l'analyse des épidémies au traitement du langage naturel. Parallèlement à l'explosion des données, une grande partie des algorithmes proposés se sont concentrés sur l'analyse, la représentation et l'exploitation des structures de réseau au cours des dernières décennies.Dans beaucoup d'entre eux, les laplaciens de graphes sont les objets centraux.Ce sont des représentations matricielles notables des graphes qui se rapportent à divers aspects. Par exemple, en analysant les laplaciens de manière algébrique, on peut mesurer la connectivité, compter le nombre d'arbres spanning ou générer une visualisation d'un graphe.D'autres exemples peuvent être trouvés dans les problèmes de regroupement de nœuds, de sparsification de graphes, de traitement du signal sur les graphes et bien d'autres encore.Cependant, l'analyse algébrique du Laplacien peut prendre un temps frustrant si le graphe est constitué d'un grand nombre de nœuds.Malgré de nombreux outils numériques spécialisés pour les laplaciens, dans certains cas, le temps de calcul reste l'un des principaux problèmes.Les Forêts Couvrante Aléatoire (FCA), un processus aléatoire sur les graphes, est un outil probabiliste pour analyser les graphes avec des liens forts avec les Laplaciens.En bref, les RSF fournissent des esquisses aléatoires du graphe pour analyser les propriétés d'intérêt.Ces esquisses sont faciles à obtenir par l'algorithme de Wilson.De plus, en ne regardant que quelques-uns d'entre elles, on peut déduire des informations statistiques et/ou algébriques significatives sur le graphe global.Les applications existantes des FCA, notamment l'analyse des ondelettes des graphes, l'apprentissage semi-supervisé sur les graphes ou l'analyse de la centralité, montrent que les FCA fournissent des informations utiles tout en liant divers aspects des graphes.Dans ce manuscrit, nous présentons des moyens d'exploiter les riches connexions entre les FCA et les laplaciens des graphes pour accélérer l'analyse algébrique.Ce faisant, nous proposons des algorithmes aléatoires pour approcher plusieurs quantités d'intérêt, telles que l'inverse régularisé du Laplacien ou les résistances effectives.Il est intéressant de noter que ces quantités sont requises dans un large éventail d'applications sur les graphes, notamment le filtrage de signaux sur les graphes, l'ajustement d'hyperparamètres, l'optimisation basée sur les graphes et la sparsification. Nous illustrons ces méthodes sur des réseaux réels et les comparons aux méthodes de pointe.
| Origine | Version validée par le jury (STAR) |
|---|