Thèse Année : 2025

Advancements in Graph Representation Learning and Applications in Computational Biology

Avancées dans l’apprentissage de la représentation graphique et leurs applications en biologie computationnelle

Résumé

Graphs are a natural and flexible framework for modeling relationships and interactions across entities in various domains, including social networks, chemistry, and biology. This has fueled significant interest in graph representation learning, which focuses on learning informative representations and making predictions for graph-structured data. However, the inherently non-Euclidean nature of graph data poses substantial challenges for traditional machine learning models. Graph Neural Networks (GNNs) address these challenges by leveraging the message-passing scheme to learn node and graph representations. Despite their success, existing GNNs face significant difficulties in fully exploiting the information in graph data. In this thesis, we aim to overcome several limitations of GNNs, including their inability to capture synergistic interactions among nodes, difficulties in leveraging unlabeled graph data effectively, and other issues, such as the lack of interpretability. Furthermore, we develop new graph representation learning techniques to solve critical problems in computational biology, including cancer gene prediction and protein function prediction.In the first part of the thesis, we show that GNNs compute messages from each neighboring node independently, which limits their ability to capture complex, synergistic interactions among the nodes.To overcome this limitation, we propose a new GNN layer, which uses a self-attention mechanism and a recurrent neural network as an aggregator, thus considering the dependencies between the nodes.Secondly, we improve the performance of Graph Attention Networks (GATs) by introducing a novel loss function designed to guide the model in learning higher attention scores between nodes belonging to the same class.While the above methods have demonstrated strong performance in supervised settings, their reliance on labeled data limits their effectiveness in domains where annotations are scarce or expensive to obtain. One such domain is 3D protein graphs, where vast amounts of structural data exist, but only a small fraction is labeled with functional annotations.To this end, we propose a new geometric self-supervised pretraining framework for 3D protein graphs that predicts the subgraph distances relative to the overall geometric centroid of the protein graph.Moreover, we analyze the structural properties encoded by GNNs and reveal a strong connection between node embeddings and the number of random walks originating from nodes.Our findings connect to the over-squashing phenomenon, in which distant node information is compressed and lost, as well as to the stability of GNNs.In the second half of the thesis, we focus on applications of graph representation learning to computational biology.Cancer gene prediction is a critical task in computational biology, as the identification of cancer-associated genes can reveal insights into the underlying mechanisms of cancer and help in identifying new therapeutic targets.To this end, we propose a new framework based on GNNs to identify cancer genes, which leverages multiomics data and multiple gene and protein interaction networks.Our approach achieves state-of-the-art performance in predicting cancer driver genes while being interpretable.Furthermore, we tackle the problem of protein function prediction with a novel approach that combines GNNs and Large Language Models. Our framework integrates protein sequence and structure information to predict protein function in a text format, in contrast with previous classification models.

Les graphes constituent un cadre naturel et flexible pour modéliser les relations et interactions entre entités dans divers domaines, tels que les réseaux sociaux, la chimie et la biologie. Cela a suscité un vif intérêt pour l’apprentissage des représentations de graphes, qui vise à extraire des représentations informatives et à réaliser des prédictions sur des données structurées en graphes. Cependant, la nature intrinsèquement non euclidienne des graphes pose d’importants défis aux modèles d’apprentissage automatique classiques. Les réseaux de neurones pour graphes (GNN) relèvent ces défis en s’appuyant sur un mécanisme de passage de messages pour apprendre des représentations de nœuds et de graphes. Malgré leur succès, les GNN existants peinent à exploiter pleinement l’information contenue dans les graphes. Dans cette thèse, nous cherchons à surmonter plusieurs de leurs limites, telles que l’incapacité à saisir les interactions synergiques entre nœuds, les difficultés à exploiter efficacement les données non étiquetées, ainsi que d’autres problèmes comme le manque d’interprétabilité. Par ailleurs, nous développons de nouvelles techniques d’apprentissage des représentations de graphes pour résoudre des problématiques critiques en biologie computationnelle, notamment la prédiction de gènes liés au cancer et la prédiction de la fonction des protéines.Dans la première partie de la thèse, nous démontrons que les GNN calculent les messages de chaque nœud voisin de manière indépendante, limitant ainsi leur capacité à capturer des interactions complexes et synergiques entre nœuds. Pour y remédier, nous proposons une nouvelle couche de GNN qui utilise un mécanisme d’auto-attention et un réseau de neurones récurrent en tant qu’agrégateur, afin de prendre en compte les dépendances entre nœuds. Nous améliorons ensuite les performances des Graph Attention Networks (GAT) en introduisant une fonction de perte novatrice destinée à encourager le modèle à attribuer des scores d’attention plus élevés aux nœuds de la même classe.Bien que ces méthodes aient montré d’excellents résultats en contexte supervisé, leur dépendance aux données étiquetées limite leur efficacité dans des domaines où les annotations sont rares ou coûteuses. Un tel domaine est celui des graphes 3D de protéines, où de vastes quantités de données structurelles existent, alors qu’une seule fraction est annotée fonctionnellement. Pour ce faire, nous proposons un nouveau cadre de préentraînement auto-supervisé géométrique pour les graphes 3D de protéines, capable de prédire les distances entre sous-graphes par rapport au centroïde géométrique global du graphe protéique. De plus, nous analysons les propriétés structurelles encodées par les GNN et révélons un lien étroit entre les embeddings de nœuds et le nombre de marches aléatoires initiées à partir de ces nœuds, se connectant ainsi au phénomène de sur-compression où l’information des nœuds éloignés est comprimée et perdue, ainsi qu’à la stabilité des GNN.Dans la seconde moitié de la thèse, nous nous concentrons sur les applications de l’apprentissage des représentations de graphes en biologie computationnelle. La prédiction des gènes liés au cancer est une tâche cruciale, car l’identification de ces gènes peut éclairer les mécanismes sous-jacents à la maladie et aider à identifier de nouvelles cibles thérapeutiques. À cet égard, nous proposons un nouveau cadre basé sur les GNN pour identifier les gènes du cancer, en exploitant des données multi-omiques et plusieurs réseaux d’interactions entre gènes et protéines. Notre approche atteint des performances de pointe tout en demeurant interprétable.Par ailleurs, nous abordons la prédiction de la fonction des protéines via une approche novatrice combinant GNN et grands modèles de langage, en intégrant des informations sur la séquence et la structure des protéines pour prédire leur fonction sous forme de texte, contrairement aux modèles de classification antérieurs.

Fichier principal
Vignette du fichier
142773_CHATZIANASTASIS_2025_archivage-1.pdf (7.46 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-05118611 , version 1 (18-06-2025)

Licence

Identifiants

  • HAL Id : tel-05118611 , version 1

Citer

Michail Chatzianastasis. Advancements in Graph Representation Learning and Applications in Computational Biology. Artificial Intelligence [cs.AI]. Institut Polytechnique de Paris, 2025. English. ⟨NNT : 2025IPPAX017⟩. ⟨tel-05118611⟩
660 Consultations
495 Téléchargements

Partager

  • More