Towards Expressive Graph Neural Networks : Theory, Algorithms, and Applications
Vers des Graph Neural Networks expressives : théorie, algorithmes et applications
Résumé
As the technological evolution of machine learning is accelerating nowadays, data plays a vital role in building intelligent models, being able to simulate phenomena, predict values and make decisions. In an increasing number of applications, data take the form of networks. The inherent graph structure of network data motivated the evolution of the graph representation learning field. Its scope includes generating meaningful representations for graphs and their components, i.e., the nodes and the edges. The research on graph representation learning was accelerated with the success of message passing frameworks applied on graphs, namely the Graph Neural Networks. Learning informative and expressive representations on graphs plays a critical role in a wide range of real-world applications, from telecommunication and social networks, urban design, chemistry, and biology. In this thesis, we study various aspects from which Graph Neural Networks can be more expressive, and we propose novel approaches to improve their performance in standard graph learning tasks. The main branches of the present thesis include: the universality of graph representations, the increase of the receptive field of graph neural networks, the design of stable deeper graph learning models, and alternatives to the standard message-passing framework. Performing both theoretical and experimental studies, we show how the proposed approaches can become valuable and efficient tools for designing more powerful graph learning models.In the first part of the thesis, we study the quality of graph representations as a function of their discrimination power, i.e., how easily we can differentiate graphs that are not isomorphic. Firstly, we show that standard message-passing schemes are not universal due to the inability of simple aggregators to separate nodes with ambiguities (similar attribute vectors and neighborhood structures). Based on the found limitations, we propose a simple coloring scheme that can provide universal representations with theoretical guarantees and experimental validations of the performance superiority. Secondly, moving beyond the standard message-passing paradigm, we propose an approach for treating a corpus of graphs as a whole instead of examining graph pairs. To do so, we learn a soft permutation matrix for each graph, and we project all graphs in a common vector space, achieving a solid performance on graph classification tasks.In the second part of the thesis, our primary focus is concentrated around the receptive field of the graph neural networks, i.e., how much information a node has in order to update its representation. To begin with, we study the spectral properties of operators that encode adjacency information. We propose a novel parametric family of operators that can adapt throughout training and provide a flexible framework for data-dependent neighborhood representations. We show that the incorporation of this approach has a substantial impact on both node classification and graph classification tasks. Next, we study how considering the k-hop neighborhood information for a node representation can output more powerful graph neural network models. The resulted models are proven capable of identifying structural properties, such as connectivity and triangle-freeness.In the third part of the thesis, we address the problem of long-range interactions, where nodes that lie in distant parts of the graph can affect each other. In this problem, we either need the design of deeper models or the reformulation of how proximity is defined in the graph. Firstly, we study the design of deeper attention models, focusing on graph attention. We calibrate the gradient flow of the model by introducing a novel normalization that enforces Lipschitz continuity. Next, we propose a data augmentation method for enriching the node attributes with information that encloses structural information based on local entropy measures.
L'évolution de l'apprentissage automatique s'accélérant, les donnés jouent un rôle de plus en plus important dans la construction de modèles intelligents, capables de prédire des résultats complexes et de prendre des décisions.Dans un nombre sans cesse croissant d'applications, les données sont structurées et peuvent être vues comme des graphes.L'exploitation de cette structure est le cœur du domaine de l'apprentissage de représentations de graphes, qui consiste à calculer des représentations suffisamment expressives des graphes et de ses composants. Récemment, la domaine de l'apprentissage de représentations de graphes a été accéléré par le succès des algorithmes du type «message passing» (passation de messages) appliqués aux graphes, à savoir les «Graphe Neural Network». L'apprentissage de représentations informatives et expressives sur les graphes joue un rôle critique dans un large éventail d'applications du monde réel, depuis les télécommunications et les réseaux sociaux jusqu'à la chimie et la biologie. Dans cette thèse, nous étudions les différents aspects à partir desquels les réseaux neuronaux graphiques peuvent être plus expressifs, et nous proposons de nouvelles approches pour améliorer leurs performances dans les tâches standard d'apprentissages. En réalisant des études théoriques et expérimentales, nous montrons comment les approches proposées peuvent devenir des outils utiles et efficaces pour concevoir des modèles d'apprentissage de graphes plus expressifs.Dans la première partie de la thèse, nous étudions la qualité des représentations de graphes en fonction de leur pouvoir de discrimination, c'est-à-dire la capacité à différencier des graphes qui ne sont pas isomorphes.Tout d'abord, nous montrons que les schémas standards de passation de messages ne sont pas universels, en raison de l'incapacité des agrégateurs à séparer les nœuds présentant des ambiguïtés. Nous proposons un schéma de coloration, qui bien que simple peut fournir des représentations universelles avec des garanties théoriques.Puis, nous proposons une approche pour traiter un corpus de graphes comme un tout, au lieu d'examiner localement l'intégralité des paires de graphes.Pour ce faire, nous apprenons une matrice de permutation relaxée pour chaque graphe, ce qui permet d'obtenir de solides performances dans les tâches de classification de graphes.Dans la deuxième partie de la thèse, nous nous concentrons sur le champ réceptif des réseaux neuronaux de graphes, c'est-à-dire sur la quantité d'informations dont dispose un nœud pour mettre à jour sa représentation. Nous étudions les propriétés spectrales d'opérateurs, qui encodent l'information d'adjacence. Nous proposons une famille paramétrique d'opérateurs qui peuvent s'adapter tout au long de l'apprentissage afin de fournir un cadre flexible pour les représentations de voisinage dépendant des données.Nous montrons que l'incorporation de cette approche a un fort impact sur les tâches de classification des nœuds et des graphes. Ensuite, nous étudions comment la prise en compte des informations de voisinage k-hop peut produire des modèles de réseaux neuronaux de graphes plus expressifs. Les modèles obtenus s'avèrent capables d'identifier des propriétés structurelles.Enfin, nous abordons le problème des interactions à longue distance. Dans ce type de problème, nous avons besoin soit de concevoir des modèles plus profonds, soit de reformuler la manière dont la proximité est définie dans le graphe. Tout d'abord, nous étudions la conception de modèles d'attention plus profonds, en nous concentrant sur les modèles d'Attention de graphes. Nous calibrons le flux de gradient du modèle en introduisant une nouvelle normalisation qui force le modèles à être Lipschitz. Nous proposons aussi une méthode d'augmentation des données pour enrichir les attributs des nœuds avec des informations qui contiennent des informations structurelles, basées sur des mesures d'entropie locale.
| Origine | Version validée par le jury (STAR) |
|---|