Graph learning with bilevel optimization
Apprentissage de graphes via l'optimisation bi-niveau
Résumé
This thesis focuses on graph learning for semi-supervised learning tasks to mitigate the impact of noise in real-world graphs.One approach to learn graphs is using bilevel optimization, whose inner problem optimizes the downstream model, and its outer problem evaluates the performance of the optimized model with respect to a labelling loss and updates the graph accordingly.This problem is intractable in general.One solution is replacing the inner optimizer by the output of an iterative algorithm converging to a good proxy, and then employing automatic differentiation to evaluate its derivative with respect to the graph, which is learned using a gradient-based algorithm.In this thesis, we first propose to apply this approach to learn analysis-sparsity priors, which boils down to a graph learning problem in applications related to graph Total Variation.Although the problem is non-smooth, we empirically prove the capacity of this solver in 1D and 2D signal denoising tasks.We then propose to use bilevel optimization to train a parametric model on predicting similarity between nodes, instead of learning the graph directly.We show that this notably improves performance over observed graphs.Finally, we identify and analyze the gradient scarcity problem, which consists in a lack of supervision on edges connecting distant unlabelled nodes.We prove that this issue emerges when directly optimizing the observed edges while using graph neural networks or the Laplacian regularization in the downstream task.We examine several solutions to this issue including metric learning, graph regularization, or expanding the graph, and prove their efficiency.
Cette thèse se concentre sur l’apprentissage de graphes pour les tâches d’apprentissage semi-supervisé afin d’atténuer l’impact du bruit dans les graphes du monde réel. Une approche pour apprendre les graphes est d’utiliser l’optimisation bi-niveau, dont le problème interne optimise le modèle en aval, et son problème externe évalue la performance du modèle optimisé par rapport à une perte d’étiquetage et met à jour le graphe en conséquence. Ce problème est en général numériquement intractable. Une solution consiste à remplacer l’optimiseur interne par la sortie d’un algorithme itératif convergeant vers un bon proxy, puis à utiliser la différentiation automatique pour évaluer sa dérivée par rapport au graphe, qui est appris à l’aide d’un algorithme basé sur le gradient. Dans cette thèse, nous proposons d’abord d’appliquer cette approche pour apprendre les priorités d’analyse-parcimonie, ce qui revient à un problème d’apprentissage de graphe dans les applications liées à la variation totale de graphe. Bien que le problème soit non-lisse, nous prouvons empiriquement la capacité de ce solveur dans les tâches de débruitage de signaux 1D et 2D. Nous proposons ensuite d’utiliser l’optimisation bi-niveau pour entraîner un modèle paramétrique sur la prédiction de la similitude entre les nœuds, au lieu d’apprendre directement le graphe. Nous montrons que cela améliore notablement les performances par rapport aux graphes observés. Enfin, nous identifions et analysons le problème de gradient scarcity, qui consiste en un manque de supervision sur les arêtes reliant des nœuds non étiquetés éloignés. Nous prouvons que ce problème émerge lors de l’optimisation directe des arêtes observées tout en utilisant des réseaux de neurones graphiques ou la régularisation laplacienne dans la tâche en aval. Nous examinons plusieurs solutions à ce problème, notamment l’apprentissage métrique, la régularisation de graphe ou l’expansion du graphe, et prouvons leur efficacité.
| Origine | Version validée par le jury (STAR) |
|---|