<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-04975504</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-04-25T21:48:02+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Meta-Evaluation Methodology and Benchmark for Automatic Story Generation</title>
            <title xml:lang="fr">Méthodologie et méta-évaluation comparative pour la génération automatique d'histoires</title>
            <author role="aut">
              <persName>
                <forename type="first">Cyril</forename>
                <surname>Chhun</surname>
              </persName>
              <email type="md5">7ee85050708568cdbf1dd2493bbbae77</email>
              <email type="domain">telecom-paris.fr</email>
              <idno type="idhal" notation="string">cyril-chhun</idno>
              <idno type="idhal" notation="numeric">1171670</idno>
              <idno type="halauthorid" notation="string">2273624-1171670</idno>
              <idno type="IDREF">https://www.idref.fr/283486767</idno>
              <affiliation ref="#struct-484335"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>ABES</forename>
                <surname>STAR</surname>
              </persName>
              <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
              <email type="domain">abes.fr</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2025-03-04 11:12:06</date>
              <date type="whenModified">2026-04-09 01:42:56</date>
              <date type="whenReleased">2025-03-04 11:12:07</date>
              <date type="whenProduced">2024-11-19</date>
              <date type="whenEndEmbargoed">2025-03-04</date>
              <ref type="file" target="https://theses.hal.science/tel-04975504v1/document">
                <date notBefore="2025-03-04"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://theses.hal.science/tel-04975504v1/file/134049_CHHUN_2024_archivage.pdf" id="file-4975504-4312999">
                <date notBefore="2025-03-04"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="131274">
                <persName>
                  <forename>ABES</forename>
                  <surname>STAR</surname>
                </persName>
                <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
                <email type="domain">abes.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-04975504</idno>
            <idno type="halUri">https://theses.hal.science/tel-04975504</idno>
            <idno type="halBibtex">chhun:tel-04975504</idno>
            <idno type="halRefHtml">Machine Learning [cs.LG]. Institut Polytechnique de Paris, 2024. English. &lt;a target="_blank" href="https://www.theses.fr/2024IPPAT030"&gt;&amp;#x27E8;NNT : 2024IPPAT030&amp;#x27E9;&lt;/a&gt;</idno>
            <idno type="halRef">Machine Learning [cs.LG]. Institut Polytechnique de Paris, 2024. English. &amp;#x27E8;NNT : 2024IPPAT030&amp;#x27E9;</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-4975504-4312999"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="STAR">STAR - Dépôt national des thèses électroniques</idno>
            <idno type="stamp" n="TELECOM-PARISTECH" corresp="PARISTECH">Télécom Paris</idno>
            <idno type="stamp" n="TDS-MACS">Réseau de recherche en Théorie des Systèmes Distribués, Modélisation, Analyse et Contrôle des Systèmes</idno>
            <idno type="stamp" n="LTCI" corresp="TELECOM-PARISTECH">Laboratoire Traitement et Communication de l'Information</idno>
            <idno type="stamp" n="INFRES" corresp="TELECOM-PARISTECH">Département Informatique et Réseaux</idno>
            <idno type="stamp" n="DIG" corresp="TELECOM-PARISTECH">Equipe Data, Intelligence and Graphs</idno>
            <idno type="stamp" n="IP_PARIS">Institut Polytechnique de Paris</idno>
            <idno type="stamp" n="INSTITUTS-TELECOM">composantes instituts telecom </idno>
            <idno type="stamp" n="INSTITUT-MINES-TELECOM">Institut Mines Telecom</idno>
            <idno type="stamp" n="DEPARTEMENT-DE-MATHEMATIQUES">Collection du Département de Mathématiques</idno>
            <idno type="stamp" n="IP-PARIS-DEPARTEMENT-MATHEMATIQUES">Département de Mathèmatiques</idno>
            <idno type="stamp" n="IP-PARIS-MATHEMATIQUES">IP Paris Département de Mathématiques</idno>
            <idno type="stamp" n="IP-PARIS-INFORMATION-COMMUNICATION-ELECTRONIQUE">IP Paris Département d'Information, de Communication et d'Électronique</idno>
            <idno type="stamp" n="IP-PARIS-INFORMATIQUE-DONNEES-ET-IA">IP Paris Département d'Informatique, de Données et d'IA</idno>
          </seriesStmt>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Meta-Evaluation Methodology and Benchmark for Automatic Story Generation</title>
                <title xml:lang="fr">Méthodologie et méta-évaluation comparative pour la génération automatique d'histoires</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Cyril</forename>
                    <surname>Chhun</surname>
                  </persName>
                  <email type="md5">7ee85050708568cdbf1dd2493bbbae77</email>
                  <email type="domain">telecom-paris.fr</email>
                  <idno type="idhal" notation="string">cyril-chhun</idno>
                  <idno type="idhal" notation="numeric">1171670</idno>
                  <idno type="halauthorid" notation="string">2273624-1171670</idno>
                  <idno type="IDREF">https://www.idref.fr/283486767</idno>
                  <affiliation ref="#struct-484335"/>
                </author>
              </analytic>
              <monogr>
                <idno type="nnt">2024IPPAT030</idno>
                <imprint>
                  <date type="dateDefended">2024-11-19</date>
                </imprint>
                <authority type="institution">Institut Polytechnique de Paris</authority>
                <authority type="school">École doctorale de l'Institut polytechnique de Paris</authority>
                <authority type="supervisor">Fabian Suchanek</authority>
                <authority type="supervisor">Chloé Clavel</authority>
                <authority type="jury">Benoît Favre [Président]</authority>
                <authority type="jury">Smaranda Muresan [Rapporteur]</authority>
                <authority type="jury">Marine Carpuat</authority>
                <authority type="jury">Sophie Rosset</authority>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">Machine learning</term>
                <term xml:lang="en">Natural language processing</term>
                <term xml:lang="en">Language models</term>
                <term xml:lang="en">Deep learning</term>
                <term xml:lang="fr">Apprentissage automatique</term>
                <term xml:lang="fr">Traitement automatique du langage</term>
                <term xml:lang="fr">Modèles de langage</term>
                <term xml:lang="fr">Apprentissage profond</term>
              </keywords>
              <classCode scheme="halDomain" n="info.info-lg">Computer Science [cs]/Machine Learning [cs.LG]</classCode>
              <classCode scheme="halDomain" n="info.info-ai">Computer Science [cs]/Artificial Intelligence [cs.AI]</classCode>
              <classCode scheme="halDomain" n="info.info-cy">Computer Science [cs]/Computers and Society [cs.CY]</classCode>
              <classCode scheme="halDomain" n="info.info-cl">Computer Science [cs]/Computation and Language [cs.CL]</classCode>
              <classCode scheme="halTypology" n="THESE">Theses</classCode>
              <classCode scheme="halOldTypology" n="THESE">Theses</classCode>
              <classCode scheme="halTreeTypology" n="THESE">Theses</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>Storytelling is a central component of human culture. Multiple approaches have been proposedto explore computational storytelling, despite the inherent challenges posed by the tasks of generating stories and assessing their quality. In this thesis, we design a meta-evaluation methodology and benchmark for Automatic Story Generation (ASG).First, we lay the groundwork for conducting our metaevaluation: we describe our chosen setting, provide definitions for the ASG and Automatic Story Evaluation (ASE) tasks, and propose an original set of six criteria for story evaluation. Then, we introduce HANNA, our corpus of Human ANnotated NArratives, which contains 1,056 stories annotated w.r.t. our six criteria, and show that those criteria allow for a standardized human evaluation. We use Large Language Models (LLMs) to augment HANNA with 480 new stories and 150k+ rating annotations. We observe that LLMs obtain better grades than humans, as rated by selected LLMs. After that, we perform our meta-evaluation benchmark on HANNA.We mainly observe that specific measures for ASE are needed, and that commonly-used measures (e.g. BLEU) are sub-optimal. We then show our analysis of LLM performance at ASE: we find that LLMs are currently the best proxy for human evaluation of ASG and that, in our specific setting, providing detailed guidelines does not improve correlations between LLM and human ratings. Those results prompt us to study whether the performance displayed by LLMs at ASE and ASG can be explained through different factors.We perform a three-part study on LLM-generated explanations, and an analysis of pretraining data on LLM performance. Notably, we find that LLMs struggle to explain their answers with substantiated claims.Finally, we outline three main research perspectives: designing specific ASE measures, further investigating LLM performance at ASG and ASE, and assessing and mitigating the impact of LLMs on society.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>La narration d'histoires est un élément central de la culture humaine. De nombreuses approches de narration numérique ont été proposées, malgré les défis inhérents aux tâches de génération d'histoires et d'évaluation de leur qualité. Dans cette thèse, nous concevons une méthodologie et un benchmark pour la méta-évaluation de la génération automatique d'histoires (ASG).Tout d'abord, nous posons les bases de notre méta-évaluation : nous décrivons le contexte choisi, définissons les tâches d'ASG et d'évaluation automatique d'histoires (ASE) et proposons un ensemble original de six critères pour l'évaluation d'histoires. Ensuite, nous présentons HANNA, notre corpus d'histoires annotées manuellement (Human ANnotated NArratives), qui contient 1 056 histoires annotées selon nos six critères, et nous montrons que ces derniers permettent une évaluation humaine standardisée. Nous utilisons des grands modèles de langage (LLM) pour ajouter 480 nouvelles histoires et 150k+ annotations à HANNA. Nous observons principalement que les LLM obtiennent de meilleures notes que les humains, d'après les LLM que nous avons sélectionnés. Ensuite, nous effectuons notre méta-évaluation comparative des mesures automatiques sur HANNA. Nous observons principalement que des mesures spécifiques pour l'ASE sont nécessaires, et que les mesures couramment utilisées comme BLEU sont sous-optimales.Nous montrons ensuite notre analyse de la performance des LLM pour l'ASE : nous constatons que les LLM sont actuellement la meilleure approximation de l'évaluation humaine de l'ASG et que, dans notre contexte spécifique, fournir des consignes détaillées n'améliore pas les corrélations entre les LLM et les évaluations humaines. Nos résultats nous incitent à étudier si les performances affichées par les LLM en ASE et ASG peuvent être expliquées par différents facteurs. Nous réalisons une étude en trois parties sur les explications générées par les LLM et une analyse des données de pré-entraînement sur les performances des LLM. Nous constatons notamment que les LLM éprouvent des difficultés à expliquer leurs réponses par des affirmations étayées.Pour conclure, nous présentons trois perspectives de recherche principales : la conception de mesures spécifiques à l'ASE, l'étude plus approfondie des performances des LLM en ASG et ASE, et l'évaluation et l'atténuation des risques des LLM sur la société.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="laboratory" xml:id="struct-484335" status="VALID">
          <idno type="IdRef">162384270</idno>
          <idno type="ISNI">0000 0000 9194 9502</idno>
          <idno type="RNSR">200319327Z</idno>
          <idno type="ROR">https://ror.org/057er4c39</idno>
          <orgName>Laboratoire Traitement et Communication de l'Information</orgName>
          <orgName type="acronym">LTCI</orgName>
          <date type="start">2017-01-01</date>
          <desc>
            <address>
              <addrLine>Télécom Paris 19 Place Marguerite Perey 91120 PALAISEAU</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.telecom-paris.fr/fr/recherche/laboratoires/laboratoire-traitement-et-communication-de-linformation-ltci</ref>
          </desc>
          <listRelation>
            <relation active="#struct-302102" type="direct"/>
            <relation active="#struct-1048346" type="direct"/>
            <relation active="#struct-563936" type="indirect"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-302102" status="VALID">
          <idno type="IdRef">192427156</idno>
          <idno type="ISNI">000000012202567X</idno>
          <idno type="ROR">https://ror.org/025vp2923</idno>
          <idno type="Wikidata">Q27962533</idno>
          <orgName>Institut Mines-Télécom [Paris]</orgName>
          <orgName type="acronym">IMT</orgName>
          <date type="start">2012-03-01</date>
          <desc>
            <address>
              <addrLine>19 Place Marguerite Perey, 91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.imt.fr/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-1048346" status="VALID">
          <idno type="IdRef">026375273</idno>
          <idno type="ISNI">0000 0001 2108 2779</idno>
          <idno type="ROR">https://ror.org/01naq7912</idno>
          <orgName>Télécom Paris</orgName>
          <date type="start">2019-06-12</date>
          <desc>
            <address>
              <addrLine>19 Place Marguerite Perey 91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.telecom-paris.fr</ref>
          </desc>
          <listRelation>
            <relation active="#struct-302102" type="direct"/>
            <relation active="#struct-563936" type="direct"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-563936" status="VALID">
          <idno type="IdRef">238327159</idno>
          <idno type="ISNI">0000000502717600</idno>
          <idno type="ROR">https://ror.org/042tfbd02</idno>
          <idno type="Wikidata">Q48759778</idno>
          <orgName>Institut Polytechnique de Paris</orgName>
          <orgName type="acronym">IP Paris</orgName>
          <date type="start">2019-06-02</date>
          <desc>
            <address>
              <addrLine>Route de Saclay, 91120 Palaiseau Cedex, France</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.ip-paris.fr</ref>
          </desc>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>