<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-04703649</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-15T23:47:28+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Mitigating catastrophic forgetting via feature transfer and knowledge consolidation for deep class-incremental learning</title>
            <title xml:lang="fr">Réduction de l’oubli catastrophique à l’aide de méthodes de distillation et de transfert de caractéristiques pour l’apprentissage incremental profond</title>
            <author role="aut">
              <persName>
                <forename type="first">Quentin</forename>
                <surname>Ferdinand</surname>
              </persName>
              <idno type="idhal" notation="numeric">1417267</idno>
              <idno type="halauthorid" notation="string">2589523-1417267</idno>
              <idno type="IDREF">https://www.idref.fr/280192363</idno>
              <affiliation ref="#struct-486345"/>
              <affiliation ref="#struct-1067632"/>
              <affiliation ref="#struct-489780"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>ABES</forename>
                <surname>STAR</surname>
              </persName>
              <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
              <email type="domain">abes.fr</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2024-09-20 12:25:27</date>
              <date type="whenModified">2026-04-30 17:21:03</date>
              <date type="whenReleased">2024-09-20 12:25:28</date>
              <date type="whenProduced">2023-11-22</date>
              <date type="whenEndEmbargoed">2024-09-20</date>
              <ref type="file" target="https://theses.hal.science/tel-04703649v1/document">
                <date notBefore="2024-09-20"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://theses.hal.science/tel-04703649v1/file/2023FerdinandQuentin.pdf" id="file-4703649-4091390">
                <date notBefore="2024-09-20"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="131274">
                <persName>
                  <forename>ABES</forename>
                  <surname>STAR</surname>
                </persName>
                <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
                <email type="domain">abes.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-04703649</idno>
            <idno type="halUri">https://theses.hal.science/tel-04703649</idno>
            <idno type="halBibtex">ferdinand:tel-04703649</idno>
            <idno type="halRefHtml">Computer Science [cs]. École Nationale Supérieure de Techniques Avancées Bretagne, 2023. English. &lt;a target="_blank" href="https://www.theses.fr/2023ENTA0010"&gt;&amp;#x27E8;NNT : 2023ENTA0010&amp;#x27E9;&lt;/a&gt;</idno>
            <idno type="halRef">Computer Science [cs]. École Nationale Supérieure de Techniques Avancées Bretagne, 2023. English. &amp;#x27E8;NNT : 2023ENTA0010&amp;#x27E9;</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-4703649-4091390"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="UNIV-BREST">Université de Bretagne occidentale - Brest (UBO)</idno>
            <idno type="stamp" n="ENSTA-BRETAGNE">ENSTA Bretagne</idno>
            <idno type="stamp" n="CNRS">CNRS - Centre national de la recherche scientifique</idno>
            <idno type="stamp" n="UNIV-UBS">Université de Bretagne Sud</idno>
            <idno type="stamp" n="ENSTA-BRETAGNE-STIC" corresp="ENSTA">UFR S2I - Brest / Lab-STICC - Brest</idno>
            <idno type="stamp" n="STAR">STAR - Dépôt national des thèses électroniques</idno>
            <idno type="stamp" n="LAB-STICC_UBO" corresp="UNIV-BREST">Laboratoire des sciences et techniques de l'information, de la communication et de la connaissance, site de l'UBO</idno>
            <idno type="stamp" n="ENIB">Ecole Nationale d'Ingénieurs de Brest</idno>
            <idno type="stamp" n="LAB-STICC">Laboratoire des sciences et techniques de l'information, de la communication et de la connaissance</idno>
            <idno type="stamp" n="IMTA_INFO">IMT Atlantique - Département informatique</idno>
            <idno type="stamp" n="LAB-STICC_IMTA">Lab-STICC - IMT Atlantique</idno>
            <idno type="stamp" n="IMT-ATLANTIQUE" corresp="INSTITUT-MINES-TELECOM">IMT-ATLANTIQUE</idno>
            <idno type="stamp" n="PRACOM">Chaire Pracom</idno>
            <idno type="stamp" n="INSTITUTS-TELECOM">composantes instituts telecom </idno>
            <idno type="stamp" n="LAB-STICC_MATRIX_IMTA" corresp="IMT-ATLANTIQUE">MATRIX - Models and AlgoriThms for pRocessIng and eXtracting information (Lab-STICC)</idno>
            <idno type="stamp" n="LAB-STICC_MATRIX">Equipe Models and AlgoriThms for pRocessIng and eXtracting information</idno>
            <idno type="stamp" n="LAB-STICC_DMID">Pôle Data, Models, Information, Decisions</idno>
            <idno type="stamp" n="INSTITUT-MINES-TELECOM">Institut Mines Telecom</idno>
            <idno type="stamp" n="ENSTA">Ensta</idno>
            <idno type="stamp" n="IP-PARIS-INFORMATION-COMMUNICATION-ELECTRONIQUE">IP Paris Département d'Information, de Communication et d'Électronique</idno>
            <idno type="stamp" n="ENSTA_THESES" corresp="ENSTA">Thèses et HDR de l'ENSTA</idno>
          </seriesStmt>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Mitigating catastrophic forgetting via feature transfer and knowledge consolidation for deep class-incremental learning</title>
                <title xml:lang="fr">Réduction de l’oubli catastrophique à l’aide de méthodes de distillation et de transfert de caractéristiques pour l’apprentissage incremental profond</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Quentin</forename>
                    <surname>Ferdinand</surname>
                  </persName>
                  <idno type="idhal" notation="numeric">1417267</idno>
                  <idno type="halauthorid" notation="string">2589523-1417267</idno>
                  <idno type="IDREF">https://www.idref.fr/280192363</idno>
                  <affiliation ref="#struct-486345"/>
                  <affiliation ref="#struct-1067632"/>
                  <affiliation ref="#struct-489780"/>
                </author>
              </analytic>
              <monogr>
                <idno type="nnt">2023ENTA0010</idno>
                <imprint>
                  <date type="dateDefended">2023-11-22</date>
                </imprint>
                <authority type="institution">École Nationale Supérieure de Techniques Avancées Bretagne</authority>
                <authority type="school">École doctorale Sciences pour l'ingénieur et le numérique</authority>
                <authority type="supervisor">Benoît Clément</authority>
                <authority type="supervisor">Panagiotis Papadakis</authority>
                <authority type="jury">Romain Billot [Président]</authority>
                <authority type="jury">Céline Hudelot [Rapporteur]</authority>
                <authority type="jury">Sébastien Lefèvre [Rapporteur]</authority>
                <authority type="jury">David Filliat</authority>
                <authority type="jury">Gilles Le Chenadec</authority>
                <authority type="jury">Quentin Oliveau</authority>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">Incremental learning</term>
                <term xml:lang="en">Catastrophic forgetting</term>
                <term xml:lang="en">Knowledge distillation</term>
                <term xml:lang="en">Convolutional neural network</term>
                <term xml:lang="en">Supervised learning</term>
                <term xml:lang="fr">Apprentissage supervisé</term>
                <term xml:lang="fr">Réseau de neurone convolutif</term>
                <term xml:lang="fr">Distillation de connaissances</term>
                <term xml:lang="fr">Oubli catastrophique</term>
                <term xml:lang="fr">Apprentissage incrémental</term>
              </keywords>
              <classCode scheme="halDomain" n="info">Computer Science [cs]</classCode>
              <classCode scheme="halTypology" n="THESE">Theses</classCode>
              <classCode scheme="halOldTypology" n="THESE">Theses</classCode>
              <classCode scheme="halTreeTypology" n="THESE">Theses</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>Deep learning methods are designed for closed-set recognition, where a predefined set of known classes is assumed. However, in real-world scenarios, open-set recognition is more realistic, allowing for the possibility of encountering unknown or novel classes during testing. Classincremental learning specifically addresses this problem by focusing on continuously improving models through the incorporation of new categories over time. Unfortunately, deep neural networks trained in this manner suffer from catastrophic forgetting, resulting in significant performance degradation on previously encountered classes. While various methods have been explored to alleviate this issue by rectifying theclassification layer of deep incremental models, an equally important aspect resides in the degradation of feature quality, which can impede downstream classification performance. This thesis specifically focuses on investigating diverse approaches to enhance feature quality, facilitating adaptation to new classes while preserving discriminative features for past classes during incremental training. Specifically two methods have been proposed and rigorously evaluated on widely established benchmarks, attaining performances either comparable or superior to the state-of-the-art . The first approach presented investigates the use of contrastive methods during incremental learning in order to improve the features extracted by incremental models while the second one uses an expansion and compression scheme to greatly reduce the forgetting happening at a feature level.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>Les méthodes d’apprentissage profond actuelles sont conçues de manière statique, avec un certain nombre de classes à reconnaître connu et prédéfini à l’avance. L’apprentissage incrémental, en revanche, étudie le scénario plus réaliste dans lequel certaines classes inconnues peuvent arriver au fur et à mesure et le modèle doit s’adapter et apprendre à reconnaître ces nouvelles catégories. Malheureusement, les réseaux neuronaux profonds entrainés de cette manière souffrent d’un oubli catastrophique, provoquant une dégradation significative des performances sur les classes précédemment rencontrées. Diverses méthodes ont été explorées pour atténuer ce problème en rectifiant la couche de classification des modèles incrémentaux. Cependant, un aspect tout aussi important réside dans la dégradation de la qualité des caractéristiques que le modèle extrait des images. Cette thèse se concentre spécifiquement sur l’exploration de diverses approches visant à améliorer leur pouvoir discriminant, facilitant ainsi l’adaptation à de nouvelles classes tout en préservant les caractéristiques discriminatives des classes précédentes lors de l’entraînement incrémental. Plus précisément, deux méthodes ont été proposées et rigoureusement évaluées, atteignant des performances comparables où supérieures à l’état de l’art. La première approche présentée explore l’utilisation de méthodes contrastives pendant l’apprentissage incrémental afin d’améliorer les caractéristiques extraites par le modèle, tandis que la seconde utilise une stratégies d’expansion et de compression de la partie responsable de l’extraction des caractéristiques dans le réseau de neurone afin de réduire significativement l'oubli.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="laboratory" xml:id="struct-486345" status="OLD">
          <idno type="IdRef">167731432</idno>
          <idno type="RNSR">201220091R</idno>
          <idno type="ROR">https://ror.org/0266kfd37</idno>
          <orgName>Laboratoire des sciences et techniques de l'information, de la communication et de la connaissance</orgName>
          <orgName type="acronym">Lab-STICC</orgName>
          <date type="start">2008-01-01</date>
          <date type="end">2024-12-31</date>
          <desc>
            <address>
              <addrLine>Technopole Brest Iroise CS 83818 29238 BREST cedex 3</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://labsticc.fr</ref>
          </desc>
          <listRelation>
            <relation active="#struct-131284" type="direct"/>
            <relation active="#struct-300314" type="direct"/>
            <relation active="#struct-1705235" type="indirect"/>
            <relation active="#struct-172265" type="direct"/>
            <relation active="#struct-301846" type="direct"/>
            <relation active="#struct-302102" type="direct"/>
            <relation name="UMR6285" active="#struct-441569" type="direct"/>
            <relation active="#struct-469973" type="direct"/>
            <relation active="#struct-481355" type="direct"/>
          </listRelation>
        </org>
        <org type="researchteam" xml:id="struct-1067632" status="OLD">
          <orgName>Equipe Models and AlgoriThms for pRocessIng and eXtracting information</orgName>
          <orgName type="acronym">Lab-STICC_MATRIX</orgName>
          <date type="start">2021-01-01</date>
          <date type="end">2024-12-31</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://labsticc.fr/teams/matrix</ref>
          </desc>
          <listRelation>
            <relation name="UMR6285" active="#struct-486345" type="direct"/>
            <relation active="#struct-131284" type="indirect"/>
            <relation active="#struct-300314" type="indirect"/>
            <relation active="#struct-1705235" type="indirect"/>
            <relation active="#struct-172265" type="indirect"/>
            <relation active="#struct-301846" type="indirect"/>
            <relation active="#struct-302102" type="indirect"/>
            <relation name="UMR6285" active="#struct-441569" type="indirect"/>
            <relation active="#struct-469973" type="indirect"/>
            <relation active="#struct-481355" type="indirect"/>
          </listRelation>
        </org>
        <org type="department" xml:id="struct-489780" status="VALID">
          <orgName>Département Informatique</orgName>
          <orgName type="acronym">IMT Atlantique - INFO</orgName>
          <date type="start">2017-01-01</date>
          <desc>
            <address>
              <addrLine>IMT Atlantique - Campus de Brest - Technopôle Brest-Iroise CS 8381829238 BREST Cedex 3</addrLine>
              <country key="FR"/>
            </address>
          </desc>
          <listRelation>
            <relation active="#struct-481355" type="direct"/>
            <relation active="#struct-302102" type="indirect"/>
          </listRelation>
        </org>
        <org type="regrouplaboratory" xml:id="struct-131284" status="VALID">
          <idno type="ROR">https://ror.org/02ypw0a72</idno>
          <orgName>École Nationale d'Ingénieurs de Brest</orgName>
          <orgName type="acronym">ENIB</orgName>
          <desc>
            <address>
              <addrLine>945 avenue du Technopole - 29280 Plouzané</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.enib.fr/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-300314" type="direct"/>
            <relation active="#struct-1705235" type="direct"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-300314" status="VALID">
          <idno type="IdRef">291809022</idno>
          <idno type="ISNI">0000000121880893</idno>
          <idno type="ROR">https://ror.org/0372th171</idno>
          <orgName>Université de Brest</orgName>
          <orgName type="acronym">UBO EPE</orgName>
          <desc>
            <address>
              <addrLine>Université de Bretagne Occidentale - 3 Rue des Archives 29238, Brest</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.univ-brest.fr/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-1705235" status="VALID">
          <idno type="IdRef">291816037</idno>
          <orgName>Institut National Polytechnique de Bretagne</orgName>
          <orgName type="acronym">Bretagne INP</orgName>
          <date type="start">2025-03-01</date>
          <desc>
            <address>
              <addrLine>945 avenue du Technopôle Brest-Iroise, 29289 Plouzané</addrLine>
              <country key="FR"/>
            </address>
          </desc>
        </org>
        <org type="institution" xml:id="struct-172265" status="VALID">
          <idno type="IdRef">05017746X</idno>
          <idno type="ISNI">0000000121680285</idno>
          <idno type="ROR">https://ror.org/04ed7fw48</idno>
          <orgName>Université de Bretagne Sud</orgName>
          <orgName type="acronym">UBS</orgName>
          <date type="start">1995-02-07</date>
          <desc>
            <address>
              <addrLine>BP 92116 - 56321 Lorient cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.univ-ubs.fr/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-301846" status="OLD">
          <idno type="IdRef">177263660</idno>
          <idno type="ROR">https://ror.org/059n54003</idno>
          <orgName>École Nationale Supérieure de Techniques Avancées Bretagne</orgName>
          <orgName type="acronym">ENSTA Bretagne</orgName>
          <date type="end">2024-12-31</date>
          <desc>
            <address>
              <addrLine>2 rue François Verny, 29806 Brest cedex 9</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.ensta-bretagne.fr</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-302102" status="VALID">
          <idno type="IdRef">192427156</idno>
          <idno type="ISNI">000000012202567X</idno>
          <idno type="ROR">https://ror.org/025vp2923</idno>
          <idno type="Wikidata">Q27962533</idno>
          <orgName>Institut Mines-Télécom [Paris]</orgName>
          <orgName type="acronym">IMT</orgName>
          <date type="start">2012-03-01</date>
          <desc>
            <address>
              <addrLine>19 Place Marguerite Perey, 91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.imt.fr/</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-469973" status="VALID">
          <idno type="IdRef">191639044</idno>
          <idno type="ROR">https://ror.org/04x1a4s97</idno>
          <orgName>Université Bretagne Loire</orgName>
          <orgName type="acronym">UBL</orgName>
          <date type="start">2016-04-01</date>
          <desc>
            <address>
              <addrLine>Cité Internationale, 1 place Paul Ricoeur - CS 54417 35044 RENNES CEDEX</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://u-bretagneloire.fr/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-481355" status="VALID">
          <idno type="IdRef">202743233</idno>
          <idno type="ROR">https://ror.org/030hj3061</idno>
          <orgName>IMT Atlantique</orgName>
          <orgName type="acronym">IMT Atlantique</orgName>
          <date type="start">2017-01-01</date>
          <desc>
            <address>
              <addrLine>Campus Brest : Technopôle Brest-Iroise CS 8381829238 BREST Cedex 3 -Campus Nantes : 4, rue Alfred Kastler- La chantrerie 44300 NANTES -Campus Rennes :  2 Rue de la Châtaigneraie, 35510 CESSON SEVIGNE</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.imt-atlantique.fr</ref>
          </desc>
          <listRelation>
            <relation active="#struct-302102" type="direct"/>
          </listRelation>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>