<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-05449270</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-25T05:10:29+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Analyzing binary programs and obfuscation with graph-based representations and machine learning</title>
            <title xml:lang="fr">Analyse de programmes binaires et d'obfuscation par des représentations de graphes et apprentissage automatique</title>
            <author role="aut">
              <persName>
                <forename type="first">Roxane</forename>
                <surname>Cohen</surname>
              </persName>
              <idno type="idhal" notation="numeric">1630832</idno>
              <idno type="halauthorid" notation="string">2508928-1630832</idno>
              <idno type="IDREF">https://www.idref.fr/292926758</idno>
              <affiliation ref="#struct-989"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>ABES</forename>
                <surname>STAR</surname>
              </persName>
              <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
              <email type="domain">abes.fr</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2026-01-08 17:28:05</date>
              <date type="whenModified">2026-04-09 13:33:25</date>
              <date type="whenReleased">2026-01-08 17:28:07</date>
              <date type="whenProduced">2025-11-27</date>
              <date type="whenEndEmbargoed">2026-01-08</date>
              <ref type="file" target="https://theses.hal.science/tel-05449270v1/document">
                <date notBefore="2026-01-08"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://theses.hal.science/tel-05449270v1/file/2025UPSLD045.pdf" id="file-5449270-4658243">
                <date notBefore="2026-01-08"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="131274">
                <persName>
                  <forename>ABES</forename>
                  <surname>STAR</surname>
                </persName>
                <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
                <email type="domain">abes.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-05449270</idno>
            <idno type="halUri">https://theses.hal.science/tel-05449270</idno>
            <idno type="halBibtex">cohen:tel-05449270</idno>
            <idno type="halRefHtml">Computer Science [cs]. Université Paris sciences et lettres, 2025. English. &lt;a target="_blank" href="https://www.theses.fr/2025UPSLD045"&gt;&amp;#x27E8;NNT : 2025UPSLD045&amp;#x27E9;&lt;/a&gt;</idno>
            <idno type="halRef">Computer Science [cs]. Université Paris sciences et lettres, 2025. English. &amp;#x27E8;NNT : 2025UPSLD045&amp;#x27E9;</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-5449270-4658243"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="CNRS">CNRS - Centre national de la recherche scientifique</idno>
            <idno type="stamp" n="UNIV-DAUPHINE">Université Paris Dauphine - Paris IX</idno>
            <idno type="stamp" n="STAR">STAR - Dépôt national des thèses électroniques</idno>
            <idno type="stamp" n="LAMSADE-DAUPHINE" corresp="UNIV-DAUPHINE">LAMSADE (Laboratoire d'Analyse et de Modélisation des Systèmes pour l'Aide à la Décision)</idno>
            <idno type="stamp" n="PSL">Université Paris sciences et lettres</idno>
            <idno type="stamp" n="UNIV-DAUPHINE-PSL" corresp="PSL">Université Paris Dauphine - PSL</idno>
          </seriesStmt>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Analyzing binary programs and obfuscation with graph-based representations and machine learning</title>
                <title xml:lang="fr">Analyse de programmes binaires et d'obfuscation par des représentations de graphes et apprentissage automatique</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Roxane</forename>
                    <surname>Cohen</surname>
                  </persName>
                  <idno type="idhal" notation="numeric">1630832</idno>
                  <idno type="halauthorid" notation="string">2508928-1630832</idno>
                  <idno type="IDREF">https://www.idref.fr/292926758</idno>
                  <affiliation ref="#struct-989"/>
                </author>
              </analytic>
              <monogr>
                <idno type="nnt">2025UPSLD045</idno>
                <imprint>
                  <date type="dateDefended">2025-11-27</date>
                </imprint>
                <authority type="institution">Université Paris sciences et lettres</authority>
                <authority type="school">Ecole doctorale SDOSE (Paris)</authority>
                <authority type="supervisor">Fabrice Rossi</authority>
                <authority type="jury">Yann Chevaleyre [Président]</authority>
                <authority type="jury">Valérie Viêt Triêm Tông [Rapporteur]</authority>
                <authority type="jury">Sébastien Adam [Rapporteur]</authority>
                <authority type="jury">Florian Yger</authority>
                <authority type="jury">Sébastien Bardin</authority>
                <authority type="jury">Barbara Pilastre</authority>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">Graph Neural Networks</term>
                <term xml:lang="en">Binary code</term>
                <term xml:lang="en">Obfuscation</term>
                <term xml:lang="en">Reverse engineering</term>
                <term xml:lang="en">Machine learning</term>
                <term xml:lang="en">Graphs</term>
                <term xml:lang="fr">Réseaux de neurones de graphes</term>
                <term xml:lang="fr">Code binaire</term>
                <term xml:lang="fr">Obfuscation</term>
                <term xml:lang="fr">Reverse engineering</term>
                <term xml:lang="fr">Apprentissage automatique</term>
                <term xml:lang="fr">Graphes</term>
              </keywords>
              <classCode scheme="halDomain" n="info">Computer Science [cs]</classCode>
              <classCode scheme="halTypology" n="THESE">Theses</classCode>
              <classCode scheme="halOldTypology" n="THESE">Theses</classCode>
              <classCode scheme="halTreeTypology" n="THESE">Theses</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>Protecting sensitive program content is a critical concern in both legitimate and malicious contexts, with obfuscation being one of the most widely used techniques. By transforming the binary code of compiled programs, obfuscation hinders and delays reverse engineering, forcing attackers to follow specific analytical steps to bypass such protections. This thesispresents several contributions, all grounded in advanced graph representation learning, covering different stages of the obfuscation analysis process. First, we address obfuscation detection and characterization as binary and multi-class classification problems, comparing graph formats, baseline and advanced deep learning models, and enriched feature sets, while assessing the impact of data distribution and compiler optimizations. Our results show that advanced Graph Neural Networks models outperform baselines when provided with features capturing fine-grained code semantics, though performance remains sensitive to optimization levels and dataset partitioning. Second, we conduct an extensive study of binary diffing and similarity, from the standard unobfuscated case, through an ablation study of QBinDiff and a comparison of existing tools, to obfuscated scenarios where attackers aim to extract knowledge from an obfuscated program, without full deobfuscation. Results highlight QBinDiff's advantages for fine-grained diffing and reveal that most intra-procedural and data-flow obfuscations offer limited protection compared to the stronger, yet rarely used, inter-procedural obfuscations. Finally, we explore direct deobfuscation by integrating reinforcement learning and graph representation learning. We model the task as a white-box symbolic compression problem, representing obfuscated functions in a novelgraph format, combining data and control flow, and simplifying them iteratively through graph edit operations guided by a Graph Neural Networks-based agent. Preliminary results on Mixed Boolean Arithmetic obfuscation demonstrate partial but promising success, opening avenues for further research.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>La protection du contenu sensible d'un programme constitue un enjeu majeur, tant dans des contextes légitimes que malveillants, l'obfuscation étant l'une des techniques les plus couramment employées à cette fin. En transformant le code binaire de programmes compilés, l'obfuscation complique et retarde les opérations de rétro-ingénierie, contraignant ainsi les attaquants à suivre une série d'étapes analytiques spécifiques pour contourner ces protections. Cette thèse présente plusieurs contributions, toutes fondées sur des méthodes avancées d'apprentissage de représentations de graphes, et couvrant différentes étapes du processus d'analyse d'obfuscation. Dans un premier temps, nous abordons la détection et la caractérisation de l'obfuscation sous forme de problèmes de classification binaire et multi-classes, en comparant divers formats de graphes, des modèles d'apprentissage de référence, ainsi que des ensembles de caractéristiques, tout en évaluant l'impact de la distribution des données et des optimisations du compilateur. Nos résultats montrent que les modèles avancés de réseaux de neurones de graphes surpassent les approches de référence lorsqu'ils sont alimentés par des caractéristiques capturant finement la sémantique du code binaire, bien que leurs performances demeurent sensibles au niveau d'optimisation et aux stratégies de partitionnement des données. Dans un second temps, nous menons une étude approfondie du diffing binaire et des techniques de similarité, en partant d'un contexte standard etnon obfusqué, au travers d'une analyse d'ablation de QBinDiff et d'une comparaison approfondie des techniques existantes, jusqu'à des scénarios obfusqués, dans lesquels un attaquant cherche à extraire des informations du programme protégé, sans procéder à une désobfuscation complète. Les résultats mettent en évidence les avantages de QBinDiff qui permet un diffing plus fin et montrent que la plupart des obfuscations intra-procédurales et de données offrent une protection limitée, contrairement aux obfuscations inter-procédurales, plus robustes mais rarement mises en œuvre dans les outils open source. Enfin, nous explorons la désobfuscation directe, en combinant l'apprentissage par renforcement et l'apprentissage de représentations de graphes. Nous modélisons cette tâche comme un problème de compression symbolique, où une fonction obfusquée est représentée dans un format de graphe innovant, combinant les flôts de contrôle et de data, puis simplifiée de manière itérative via des opérations d'édition de graphe, guidées par un agent basé surdes réseaux de neurones de graphes. Les premiers résultats obtenus sur les expressions mixtes arithmético-booléennes montrent un succès partiel mais prometteur, ouvrant des perspectives intéressantes pour de futurs travaux.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="laboratory" xml:id="struct-989" status="VALID">
          <idno type="IdRef">030107156</idno>
          <idno type="ISNI">0000 0001 2097 7052</idno>
          <idno type="RNSR">201120462Y</idno>
          <idno type="ROR">https://ror.org/052bz7812</idno>
          <idno type="Wikidata">Q3214405</idno>
          <orgName>Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision</orgName>
          <orgName type="acronym">LAMSADE</orgName>
          <desc>
            <address>
              <addrLine>Place de Lattre de Tassigny 75775 PARIS CEDEX 16</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.lamsade.dauphine.fr/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-300302" type="direct"/>
            <relation active="#struct-564132" type="indirect"/>
            <relation name="UMR7243 / FRE3234 / UMR7024" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-300302" status="VALID">
          <idno type="IdRef">027787109</idno>
          <idno type="ISNI">0000000120977052</idno>
          <idno type="ROR">https://ror.org/052bz7812</idno>
          <idno type="Wikidata">Q1546437</idno>
          <orgName>Université Paris Dauphine-PSL</orgName>
          <desc>
            <address>
              <addrLine>Place du Maréchal de Lattre de Tassigny75775 PARIS Cedex 16</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://dauphine.psl.eu/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-564132" type="direct"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-564132" status="VALID">
          <idno type="IdRef">241597595</idno>
          <idno type="ISNI">0000 0004 1784 3645</idno>
          <idno type="ROR">https://ror.org/013cjyk83</idno>
          <orgName>Université Paris Sciences et Lettres</orgName>
          <orgName type="acronym">PSL</orgName>
          <desc>
            <address>
              <addrLine>60 rue Mazarine 75006 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.psl.eu/</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>