Exploring data augmentation for graph representation learning
Techniques d'augmentation de données pour l'apprentissage profond sur les graphes
Résumé
Graph-structured data is ubiquitous across a wide range of domains, from social networks and biological systems to recommendation engines and knowledge graphs. The ability to learn meaningful representations of graphs, also known as Graph Representation Learning (GRL), is fundamental to unlocking the value encoded in these structures. However, GRL faces significant challenges, especially related to scalability and generalization. One promising approach to address these issues is data augmentation, a long-standing strategy in machine learning yet with a promising potential in the context of graph-structured data. This thesis takes a principled and comprehensive look at graph data augmentation as a unifying theme to guide the design of effective and scalable GRL algorithms. We explore how augmentation can be integrated into various stages of the GRL pipeline, from input graph sampling to mini-batch training to latent space transformations. Our investigation is structured around three core contributions: 1- Structure-Aware Biasing of Random Walks: We revisit random walk-based methods, which are foundational to many node embedding approaches. We propose a novel biasing strategy that leverages resistance distance, a metric capturing the global structure of the graph, to guide the walk generation process. This results in walks that are more informative, and balancing between local and global graph exploration. The method enhances the resulting embeddings while preserving the simplicity and scalability of first-order sampling schemes. 2- Mini-Batch Sampling for GNNs: We then move from random walk methods to graph neural networks (GNNs), where mini-batching is one way to achieve scalability. Motivated by the success of structure-aware augmentation in random walks, we ask: Can we rethink mini-batch generation through the lens of augmentation? To this end, we propose FireForest, a novel sampling strategy that creates mini-batches true to the global graph properties while exposing the model to structural variations. FireForest preserves key topological properties across batches and allows for efficient training without sacrificing representation quality, thus enabling scalable and robust GNN training. 3- Latent Graph Augmentation: Finally, we address the limitations of augmenting in the input graph space, which is vast and difficult to navigate. Inspired by the human ability to imagine plausible variations of perceived structures, we introduce an end-to-end learnable augmentation framework that operates in the latent space of GNNs. This approach allows the model to internally simulate graph augmentations, enabling it to extrapolate meaningful variations that improve generalization. It opens the door to an abstract and powerful form of augmentation. Together, these contributions explore data augmentation as a versatile tool for graph representation learning. By incorporating augmentation in different GRL approaches, we offer a framework that enhances both the scalability and generalization ability of GRL models.
Les données structurées sous forme de graphes sont omniprésentes dans de nombreux domaines d'application, allant des réseaux sociaux et de la biologie aux systèmes de recommandation et aux graphes de connaissances. La capacité d'appliquer des algorithmes d'apprentissage profond sur les graphes (appelée aussi apprentissage de représentations de graphes ou GRL, pour Graph Representation Learning) est cruciale pour exploiter efficacement l'information encapsulée dans ces structures. Toutefois, cet apprentissage se heurte à des défis majeurs, en particulier en matière de passage à l'échelle et de généralisation. Une piste prometteuse pour répondre à ces problématiques est l'augmentation de données, une stratégie classique en apprentissage automatique, mais encore sous-exploitée dans le contexte des graphes. Ce travail propose une étude rigoureuse et approfondie de l'augmentation de données sur les graphes, en tant que fil conducteur pour concevoir des algorithmes GRL à la fois performants et scalables. Nous analysons comment l'augmentation peut être injectée à différents niveaux du pipeline GRL : depuis les marches aléatoires sur le graphe en entrée, à l'entraînement par mini-batch, jusqu'à l'augmentation dans l'espace latent. Notre démarche s'articule autour de trois contributions principales : 1 - Biaisage structurel des marches aléatoires : Nous revisitons les méthodes basées sur les marches aléatoires, qui constituent un socle fondamental pour l'apprentissage d'embeddings de nœuds. Nous introduisons une stratégie de biaisage innovante exploitant la distance de résistance, une métrique reflétant la structure globale du graphe, pour guider la génération des marches. Le résultat est un meilleur équilibre entre exploration locale et globale, permettant d'obtenir des marches plus informatives tout en conservant la simplicité et l'efficacité des méthodes de premier ordre. 2 - Échantillonnage de mini-batch pour les GNNs : Nous nous intéressons ensuite aux réseaux de neurones pour graphes (ou Graph Neural Networks, GNNs), où l'apprentissage par mini-batch est une méthode essentielle pour assurer la scalabilité. Suite au succès de l'augmentation structurelle dans les marches aléatoires, nous posons la question suivante : peut-on repenser la génération des mini-batches sous l'angle de l'augmentation ? Pour cela, nous proposons FireForest, une méthode d'échantillonnage qui produit des mini-batches respectant les propriétés structurelles globales tout en introduisant des variations topologiques. FireForest permet un entraînement efficace des GNNs sans compromettre la qualité des représentations apprises. 3 - Augmentation dans l'espace latent : Enfin, nous nous attaquons aux limites de l'augmentation appliquée directement dans l'espace du graphe d'entrée, souvent trop vaste et complexe à explorer. Inspirés par la capacité humaine à imaginer des variantes plausibles d'une structure perçue, nous concevons un cadre d'augmentation de bout en bout, entièrement apprenable, opérant dans l'espace latent des GNNs. Cette approche permet au modèle de simuler en interne des augmentations de graphes, lui donnant ainsi la capacité d'extrapoler des variantes pertinentes qui favorisent la généralisation. Elle introduit une forme puissante et abstraite d'augmentation. Ces contributions démontrent que l'augmentation de données constitue un levier polyvalent pour améliorer l'apprentissage de représentations de graphes. En intégrant des stratégies d'augmentation à divers niveaux de la chaîne GRL, nous proposons un cadre méthodologique qui renforce à la fois la scalabilité et la capacité de généralisation des modèles d'apprentissage profond sur les graphes.
Mots clés
Domaines
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
