<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-05605740</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-11T09:21:37+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Protein language models transfer learning for the prediction of mutational effects and protein disorder</title>
            <title xml:lang="fr">Apprentissage par transfert des modèles de langage protéiques pour la prédiction des effets mutationnels et du désordre protéique</title>
            <author role="aut">
              <persName>
                <forename type="first">Gianluca</forename>
                <surname>Lombardi</surname>
              </persName>
              <email type="md5">1831556b9fca79d3d91aaa276ab839a3</email>
              <email type="domain">sorbonne-universite.fr</email>
              <idno type="idhal" notation="numeric">1608430</idno>
              <idno type="halauthorid" notation="string">1711148-1608430</idno>
              <idno type="ORCID">https://orcid.org/0009-0006-4183-5911</idno>
              <idno type="IDREF">https://www.idref.fr/296574996</idno>
              <affiliation ref="#struct-542183"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>ABES</forename>
                <surname>STAR</surname>
              </persName>
              <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
              <email type="domain">abes.fr</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2026-04-28 17:37:06</date>
              <date type="whenModified">2026-04-30 12:13:28</date>
              <date type="whenReleased">2026-04-28 17:37:07</date>
              <date type="whenProduced">2025-12-18</date>
              <date type="whenEndEmbargoed">2026-04-28</date>
              <ref type="file" target="https://theses.hal.science/tel-05605740v1/document">
                <date notBefore="2026-04-28"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://theses.hal.science/tel-05605740v1/file/159729_LOMBARDI_2025_archivage.pdf" id="file-5605740-4802817">
                <date notBefore="2026-04-28"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="131274">
                <persName>
                  <forename>ABES</forename>
                  <surname>STAR</surname>
                </persName>
                <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
                <email type="domain">abes.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-05605740</idno>
            <idno type="halUri">https://theses.hal.science/tel-05605740</idno>
            <idno type="halBibtex">lombardi:tel-05605740</idno>
            <idno type="halRefHtml">Bioinformatics [q-bio.QM]. Sorbonne Université, 2025. English. &lt;a target="_blank" href="https://www.theses.fr/2025SORUS618"&gt;&amp;#x27E8;NNT : 2025SORUS618&amp;#x27E9;&lt;/a&gt;</idno>
            <idno type="halRef">Bioinformatics [q-bio.QM]. Sorbonne Université, 2025. English. &amp;#x27E8;NNT : 2025SORUS618&amp;#x27E9;</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-5605740-4802817"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="INSERM">INSERM - Institut national de la santé et de la recherche médicale</idno>
            <idno type="stamp" n="CNRS">CNRS - Centre national de la recherche scientifique</idno>
            <idno type="stamp" n="STAR">STAR - Dépôt national des thèses électroniques</idno>
            <idno type="stamp" n="LCQB" corresp="IBPS">Biologie Computationnelle et Quantitative</idno>
            <idno type="stamp" n="IBPS" corresp="SORBONNE-UNIVERSITE">Institut de Biologie Paris Seine</idno>
            <idno type="stamp" n="SORBONNE-UNIVERSITE">Sorbonne Université</idno>
            <idno type="stamp" n="SORBONNE-UNIV" corresp="SORBONNE-UNIVERSITE">Sorbonne Université 01/01/2018</idno>
            <idno type="stamp" n="THESES-SU" corresp="SORBONNE-UNIVERSITE">Thèses de Sorbonne Université</idno>
            <idno type="stamp" n="SU-SCIENCES" corresp="SORBONNE-UNIVERSITE">Faculté des Sciences de Sorbonne Université</idno>
            <idno type="stamp" n="SU-TI">Sorbonne Université - Texte Intégral</idno>
            <idno type="stamp" n="ALLIANCE-SU"> Alliance Sorbonne Université</idno>
            <idno type="stamp" n="SUPRA_BIOLOGIE">Biologie hors MNHN &amp; stations</idno>
          </seriesStmt>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Protein language models transfer learning for the prediction of mutational effects and protein disorder</title>
                <title xml:lang="fr">Apprentissage par transfert des modèles de langage protéiques pour la prédiction des effets mutationnels et du désordre protéique</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Gianluca</forename>
                    <surname>Lombardi</surname>
                  </persName>
                  <email type="md5">1831556b9fca79d3d91aaa276ab839a3</email>
                  <email type="domain">sorbonne-universite.fr</email>
                  <idno type="idhal" notation="numeric">1608430</idno>
                  <idno type="halauthorid" notation="string">1711148-1608430</idno>
                  <idno type="ORCID">https://orcid.org/0009-0006-4183-5911</idno>
                  <idno type="IDREF">https://www.idref.fr/296574996</idno>
                  <affiliation ref="#struct-542183"/>
                </author>
              </analytic>
              <monogr>
                <idno type="nnt">2025SORUS618</idno>
                <imprint>
                  <date type="dateDefended">2025-12-18</date>
                </imprint>
                <authority type="institution">Sorbonne Université</authority>
                <authority type="school">École doctorale Informatique, télécommunications et électronique de Paris (1992-....)</authority>
                <authority type="supervisor">Alessandra Carbone</authority>
                <authority type="jury">Jean-Daniel Zucker [Président]</authority>
                <authority type="jury">Barbara Bravi [Rapporteur]</authority>
                <authority type="jury">Tatiana Galochkina [Rapporteur]</authority>
                <authority type="jury">Jun Cheng</authority>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">Protein disorder</term>
                <term xml:lang="en">Protein mutations</term>
                <term xml:lang="en">Protein language models</term>
                <term xml:lang="en">Computational biology</term>
                <term xml:lang="en">Deep learning</term>
                <term xml:lang="fr">Disordre protéique</term>
                <term xml:lang="fr">Mutations des protéines</term>
                <term xml:lang="fr">Modèles de langage protéique</term>
                <term xml:lang="fr">Biologie computationnelle</term>
                <term xml:lang="fr">Apprentissage profond</term>
              </keywords>
              <classCode scheme="halDomain" n="info.info-bi">Computer Science [cs]/Bioinformatics [q-bio.QM]</classCode>
              <classCode scheme="halTypology" n="THESE">Theses</classCode>
              <classCode scheme="halOldTypology" n="THESE">Theses</classCode>
              <classCode scheme="halTreeTypology" n="THESE">Theses</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>Inferring the effects of amino acids mutations in protein sequences on their functionality and interactions with other molecules is essential to understand the evolutionary landscape of proteins and to unravel the molecular mechanisms behind rare genetic or degenerative diseases. In this scope, the objective of this thesis is the development of computational methods, mainly based on deep learning, for the prediction of effects of mutations in proteins and protein-protein interactions, from protein sequences. Methods that do not rely on structures are suited to screen increasingly large databases of protein sequences, and to study disordered proteins, for which the characterisation is particularly challenging due to limited or absent structural information. Indeed, the recent introduction of protein language models (PLMs), deep transformers architectures trained on millions of protein sequences, allowed to obtain semantically rich representations of proteins, that can be adapted or serve as inputs for downstream tasks. The first contribution of the thesis is the introduction of MuLAN, a siamese architecture that leverages transfer learning from PLMs and a local attention mechanism to predict variations in binding affinity in binary protein complexes caused by mutations. Beyond its applications as predictive tool, we demonstrated in multiple evaluation settings that local attention scores learned by the model focus on important regions of the protein sequence, either related to interaction sites or functional motifs. MuLAN was applied in different biological systems and in collaborations with several groups of experimentalists to correctly discriminate between multiple conformations of protein complexes, identify residues responsible for the interaction specificity of a protein family, and to accelerate and enhance the functional classification of proteins. In an attempt to inspect the link between disorder and protein interactions, previous works introduced the concept of soft disorder, which was shown to correlate with interaction sites and to play an important role in assembly of protein complexes. We expanded on this work by publishing SoftDis, a dataset of soft-disordered and interacting regions based on complexes in the Protein Data Bank. In addition, we showed that embeddings extracted from PLMs could be adapted to predict soft and intrinsic disorder from protein sequences in LoRA-DR-suite framework, reaching state-of-the art performances, as demonstrated in the recent CAID3 challenge. Concerning the prediction of mutational effects on single protein sequences, we worked on the integration of pre-trained sequence-based PLMs with other modalities and methodologies, in an attempt to improve their predictions. Two promising approaches were the combination of predictions from structure and sequence encoders with ESCOTT, a rule-based model that relies on evolutionary conservation and global structural information, and the structure conditioning of a pre-trained autoregressive sequence model. In addition, distillation from models including multiple modalities and cross-protein information can be leveraged to accelerate predictions and correct some biases in the models. These approaches led to improved results with respect to baselines, without major computational costs. In many of these applications, emphasis was placed on the model interpretability with respect to the biological background, which is essential in the field for trustworthy results and possible medical applications.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>Inférer les effets des mutations d'acides aminés dans les séquences protéiques sur leur fonctionnalité et leurs interactions est essentiel pour comprendre le paysage évolutif des protéines et pour dévoiler les mécanismes moléculaires responsables des maladies génétiques rares ou dégénératives. Dans ce cadre, l'objectif de cette thèse est le développement de méthodes computationnelles, basées sur l'apprentissage profond, pour la prédiction des effets des mutations dans les protéines et les interactions protéine-protéine, à partir des séquences protéiques. Les méthodes qui ne se fondent pas sur les structures sont adaptées au criblage de grandes bases de données de séquences protéiques et à l'étude des protéines désordonnées, dont la caractérisation est particulièrement difficile en raison d'informations structurelles limitées ou inexistantes. L'introduction récente des modèles de langage protéique (PLMs), des architectures profondes de type transformeurs entraînées sur des millions de séquences protéiques, a permis d'obtenir des représentations sémantiquement riches des protéines, qui peuvent être adaptées ou servir comme entrées pour des tâches aval. La première contribution de la thèse est l'introduction de MuLAN, une architecture siamoise qui exploite l'apprentissage par transfert à partir des PLMs et un mécanisme d'attention locale pour prédire les variations d'affinité de liaison dans des complexes protéiques causées par des mutations. Au-delà de ses applications comme outil prédictif, nous avons démontré dans plusieurs contextes d'évaluation que les scores d'attention appris par le modèle se concentrent sur des régions importantes de la séquence protéique, liées soit aux sites d'interaction soit aux motifs fonctionnels. MuLAN a été appliqué dans différents systèmes biologiques et en collaboration avec plusieurs groupes d'expérimentateurs afin de discriminer correctement entre plusieurs conformations de complexes protéiques, d'identifier des résidus responsables de la spécificité d'interaction d'une famille de protéines, et d'accélérer et améliorer la classification fonctionnelle. Afin d'étudier le lien entre désordre et interactions protéiques, des travaux antérieurs ont introduit le concept de désordre soft, qui s'est montré corrélé aux sites d'interaction et jouant un rôle important dans l'assemblage des complexes protéiques. Nous avons approfondi ce travail en publiant SoftDis, un jeu de données de régions de soft désordre et interagissantes, basé sur des complexes dans la Protein Data Bank. De plus, nous avons montré que des représentations extraits des PLMs pouvaient être adaptés pour prédire le désordre soft et intrinsèque à partir des séquences protéiques dans le modèle LoRA-DR-suite, atteignant des performances à l'état de l'art, comme démontré dans le récent défi CAID3.Concernant la prédiction des effets mutationnels sur des séquences protéiques, nous avons travaillé sur l'intégration de PLMs pré-entraînés basés sur les séquences avec d'autres modalités et méthodologies, dans une tentative d'améliorer leurs prédictions. Deux approches encourageantes étaient la combinaison de prédictions provenant d'encodeurs de structure et de séquence avec ESCOTT, un modèle qui s'appuie sur la conservation évolutive et l'information structurelle globale, et le conditionnement structurel d'un modèle séquentiel autoregressif pré-entraîné. En outre, la distillation à partir de modèles incluant plusieurs modalités et informations inter-protéines peut être exploitée pour accélérer les prédictions et corriger certains biais dans les modèles. Ces approches ont conduit à des résultats améliorés par rapport aux bases de référence, sans coûts computationnels élevés. Dans beaucoup de ces applications, l'accent a été mis sur l'interprétabilité du modèle par rapport au contexte biologique, ce qui est essentiel dans le domaine pour obtenir des résultats fiables et pour de possibles applications médicales.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="laboratory" xml:id="struct-542183" status="VALID">
          <idno type="IdRef">24301161X</idno>
          <idno type="ISNI">0000000404593739</idno>
          <idno type="RNSR">201119726Y</idno>
          <idno type="ROR">https://ror.org/00pcqj134</idno>
          <idno type="Wikidata">Q51780569</idno>
          <orgName>Biologie Computationnelle, Quantitative et Synthétique [Paris] (ex LCQB)</orgName>
          <orgName type="acronym">CQSB</orgName>
          <date type="start">2018-01-01</date>
          <desc>
            <address>
              <addrLine>Institut de Biologie Paris Seine [IBPS], Campus Pierre et Marie Curie - 7-9 quai Saint Bernard - 75005 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.ibps.sorbonne-universite.fr/fr/Recherche/umr-7238</ref>
          </desc>
          <listRelation>
            <relation name="U1284" active="#struct-303623" type="direct"/>
            <relation active="#struct-413221" type="direct"/>
            <relation name="UMR7238" active="#struct-441569" type="direct"/>
            <relation active="#struct-542120" type="direct"/>
            <relation active="#struct-303623" type="direct"/>
            <relation name="UAR3631 / FR3631" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-303623" status="VALID">
          <idno type="IdRef">026388278</idno>
          <idno type="ROR">https://ror.org/02vjkv261</idno>
          <orgName>Institut National de la Santé et de la Recherche Médicale</orgName>
          <orgName type="acronym">INSERM</orgName>
          <desc>
            <address>
              <addrLine>101, rue de Tolbiac, 75013 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inserm.fr</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-413221" status="VALID">
          <idno type="IdRef">221333754</idno>
          <idno type="ROR">https://ror.org/02en5vm52</idno>
          <orgName>Sorbonne Université</orgName>
          <orgName type="acronym">SU</orgName>
          <date type="start">2018-01-01</date>
          <desc>
            <address>
              <addrLine>21 rue de l’École de médecine - 75006 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.sorbonne-universite.fr/</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
        <org type="regrouplaboratory" xml:id="struct-542120" status="VALID">
          <idno type="IdRef">245153268</idno>
          <idno type="RNSR">201420879N</idno>
          <idno type="ROR">https://ror.org/01c2cjg59</idno>
          <orgName>Institut de Biologie Paris Seine</orgName>
          <orgName type="acronym">IBPS</orgName>
          <date type="start">2018-01-01</date>
          <desc>
            <address>
              <addrLine>Quai Saint-Bernard75252 PARIS CEDEX 05</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.ibps.upmc.fr/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-303623" type="direct"/>
            <relation active="#struct-413221" type="direct"/>
            <relation name="UAR3631 / FR3631" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>