<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-00845410</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-25T00:52:56+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="fr">APPRENTISSAGE SÉQUENTIEL : Bandits, Statistique et Renforcement.</title>
            <author role="aut">
              <persName>
                <forename type="first">Odalric-Ambrym</forename>
                <surname>Maillard</surname>
              </persName>
              <email type="md5">2e4c2e554a9ead49425e540bd93d475b</email>
              <email type="domain">inria.fr</email>
              <idno type="idhal" notation="string">odalric-ambrym-maillard</idno>
              <idno type="idhal" notation="numeric">5563</idno>
              <idno type="halauthorid" notation="string">16038-5563</idno>
              <idno type="IDREF">https://www.idref.fr/158055594</idno>
              <idno type="ORCID">https://orcid.org/0000-0001-7935-7026</idno>
              <affiliation ref="#struct-2546"/>
              <affiliation ref="#struct-56016"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>Philippe</forename>
                <surname>Preux</surname>
              </persName>
              <email type="md5">9f58d44416ea6807e1af50375310f36e</email>
              <email type="domain">inria.fr</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2013-07-17 09:37:33</date>
              <date type="whenModified">2025-08-12 18:20:32</date>
              <date type="whenReleased">2013-07-17 13:21:22</date>
              <date type="whenProduced">2011-10-03</date>
              <date type="whenEndEmbargoed">2013-07-17</date>
              <ref type="file" target="https://theses.hal.science/tel-00845410v1/document">
                <date notBefore="2013-07-17"/>
              </ref>
              <ref type="file" n="1" target="https://theses.hal.science/tel-00845410v1/file/thesis_Maillard.pdf" id="file-845410-497111">
                <date notBefore="2013-07-17"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="185313">
                <persName>
                  <forename>Philippe</forename>
                  <surname>Preux</surname>
                </persName>
                <email type="md5">9f58d44416ea6807e1af50375310f36e</email>
                <email type="domain">inria.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-00845410</idno>
            <idno type="halUri">https://theses.hal.science/tel-00845410</idno>
            <idno type="halBibtex">maillard:tel-00845410</idno>
            <idno type="halRefHtml">Machine Learning [cs.LG]. Université des Sciences et Technologie de Lille - Lille I, 2011. English. &lt;a target="_blank" href="https://www.theses.fr/"&gt;&amp;#x27E8;NNT : &amp;#x27E9;&lt;/a&gt;</idno>
            <idno type="halRef">Machine Learning [cs.LG]. Université des Sciences et Technologie de Lille - Lille I, 2011. English. &amp;#x27E8;NNT : &amp;#x27E9;</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-845410-497111"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="UNIV-LILLE3">Université de Lille Sciences humaines et sociales</idno>
            <idno type="stamp" n="CNRS">CNRS - Centre national de la recherche scientifique</idno>
            <idno type="stamp" n="INRIA">INRIA - Institut National de Recherche en Informatique et en Automatique</idno>
            <idno type="stamp" n="INRIA-LILLE">INRIA Lille - Nord Europe</idno>
            <idno type="stamp" n="LAGIS">Laboratoire d'Automatique, Génie Informatique et Signal</idno>
            <idno type="stamp" n="INRIA_TEST">INRIA - Institut National de Recherche en Informatique et en Automatique</idno>
            <idno type="stamp" n="TESTALAIN1">TESTALAIN1</idno>
            <idno type="stamp" n="CRISTAL">Centre de Recherche en Informatique, Signal et Automatique de Lille (CRISTAL)</idno>
            <idno type="stamp" n="INRIA2">INRIA 2</idno>
            <idno type="stamp" n="CRISTAL-SEQUEL" corresp="CRISTAL">CRISTAL-SEQUEL</idno>
          </seriesStmt>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="fr">APPRENTISSAGE SÉQUENTIEL : Bandits, Statistique et Renforcement.</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Odalric-Ambrym</forename>
                    <surname>Maillard</surname>
                  </persName>
                  <email type="md5">2e4c2e554a9ead49425e540bd93d475b</email>
                  <email type="domain">inria.fr</email>
                  <idno type="idhal" notation="string">odalric-ambrym-maillard</idno>
                  <idno type="idhal" notation="numeric">5563</idno>
                  <idno type="halauthorid" notation="string">16038-5563</idno>
                  <idno type="IDREF">https://www.idref.fr/158055594</idno>
                  <idno type="ORCID">https://orcid.org/0000-0001-7935-7026</idno>
                  <affiliation ref="#struct-2546"/>
                  <affiliation ref="#struct-56016"/>
                </author>
              </analytic>
              <monogr>
                <imprint>
                  <date type="dateDefended">2011-10-03</date>
                </imprint>
                <authority type="institution">Université des Sciences et Technologie de Lille - Lille I</authority>
                <authority type="school">Ecole Doctoral Science pour l'Ingénieur</authority>
                <authority type="supervisor">Rémi Munos</authority>
                <authority type="jury">Philippe Berthet Université Toulouse III Co-directeur</authority>
                <authority type="jury">Olivier Cappé Telecom ParisTech Président</authority>
                <authority type="jury">Nicolò Cesa-Bianchi Università di Milano Rapporteur</authority>
                <authority type="jury">Pascal Massart Université de Paris-Sud Examinateur</authority>
                <authority type="jury">Rémi Munos INRIA Lille - Nord Europe Directeur</authority>
                <authority type="jury">Csaba Szepesvári University of Alberta Rapporteur</authority>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">adversarial bandit problem</term>
                <term xml:lang="en">performance bound</term>
                <term xml:lang="en">random projections</term>
                <term xml:lang="en">KL-UCB algorithm</term>
                <term xml:lang="fr">problème du bandit adversarial</term>
                <term xml:lang="fr">bornes de performance</term>
                <term xml:lang="fr">projections aléatoires</term>
                <term xml:lang="fr">algorithme KL-UCB</term>
              </keywords>
              <classCode scheme="halDomain" n="info.info-lg">Computer Science [cs]/Machine Learning [cs.LG]</classCode>
              <classCode scheme="halTypology" n="THESE">Theses</classCode>
              <classCode scheme="halOldTypology" n="THESE">Theses</classCode>
              <classCode scheme="halTreeTypology" n="THESE">Theses</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>This thesis studies the following topics in Machine Learning: Bandit theory, Statistical learning and Reinforcement learning. The common underlying thread is the non-asymptotic study of various notions of adaptation: to an environment or an opponent in part I about bandit theory, to the structure of a signal in part II about statistical theory, to the structure of states and rewards or to some state-model of the world in part III about reinforcement learning. First we derive a non-asymptotic analysis of a Kullback-Leibler-based algorithm for the stochastic multi-armed bandit that enables to match, in the case of distributions with finite support, the asymptotic distribution-dependent lower bound known for this problem. Now for a multi-armed bandit with a possibly adaptive opponent, we introduce history-based models to catch some weakness of the opponent, and show how one can benefit from such models to design algorithms adaptive to this weakness. Then we contribute to the regression setting and show how the use of random matrices can be beneficial both theoretically and numerically when the considered hypothesis space has a large, possibly infinite, dimension. We also use random matrices in the sparse recovery setting to build sensing operators that allow for recovery when the basis is far from being orthogonal. Finally we combine part I and II to first provide a non-asymptotic analysis of reinforcement learning algorithms such as Bellman-residual minimization and a version of Leastsquares temporal-difference that uses random projections and then, upstream of the Markov Decision Problem setting, discuss the practical problem of choosing a good model of states.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>Cette thèse traite des domaines suivant en Apprentissage Automatique: la théorie des Bandits, l'Apprentissage statistique et l'Apprentissage par renforcement. Son fil rouge est l'étude de plusieurs notions d'adaptation, d'un point de vue non asymptotique : à un environnement ou à un adversaire dans la partie I, à la structure d'un signal dans la partie II, à la structure de récompenses ou à un modèle des états du monde dans la partie III. Tout d'abord nous dérivons une analyse non asymptotique d'un algorithme de bandit à plusieurs bras utilisant la divergence de Kullback-Leibler. Celle-ci permet d'atteindre, dans le cas de distributions à support fini, la borne inférieure de performance asymptotique dépendante des distributions de probabilité connue pour ce problème. Puis, pour un bandit avec un adversaire possiblement adaptatif, nous introduisons des modèles dépendants de l'histoire et traduisant une possible faiblesse de l'adversaire et montrons comment en tirer parti pour concevoir des algorithmes adaptatifs à cette faiblesse. Nous contribuons au problème de la régression en montrant l'utilité des projections aléatoires, à la fois sur le plan théorique et pratique, lorsque l'espace d'hypothèses considéré est de dimension grande, voire infinie. Nous utilisons également des opérateurs d'échantillonnage aléatoires dans le cadre de la reconstruction parcimonieuse lorsque la base est loin d'être orthogonale. Enfin, nous combinons la partie I et II : pour fournir une analyse non-asymptotique d'algorithmes d'apprentissage par renforcement; puis, en amont du cadre des Processus Décisionnel de Markov, pour discuter du problème pratique du choix d'un bon modèle d'états.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="laboratory" xml:id="struct-2546" status="OLD">
          <orgName>Laboratoire d'Informatique Fondamentale de Lille</orgName>
          <orgName type="acronym">LIFL</orgName>
          <desc>
            <address>
              <addrLine>Bâtiment M3 59655 Villeneuve d'Ascq Cédex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.lifl.fr/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-92973" type="direct"/>
            <relation active="#struct-300009" type="direct"/>
            <relation active="#struct-301700" type="direct"/>
            <relation name="UMR8022" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
        <org type="researchteam" xml:id="struct-56016" status="OLD">
          <idno type="RNSR">200718281V</idno>
          <orgName>Sequential Learning</orgName>
          <orgName type="acronym">SEQUEL</orgName>
          <date type="start">2007-07-01</date>
          <date type="end">2014-12-31</date>
          <desc>
            <address>
              <addrLine>Centre Inria de l'Université de Lille ,170 Av. de Bretagne, 59000 Lille</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/equipes/sequel</ref>
          </desc>
          <listRelation>
            <relation active="#struct-2546" type="direct"/>
            <relation active="#struct-92973" type="indirect"/>
            <relation active="#struct-300009" type="indirect"/>
            <relation active="#struct-301700" type="indirect"/>
            <relation name="UMR8022" active="#struct-441569" type="indirect"/>
            <relation active="#struct-104752" type="direct"/>
            <relation active="#struct-183073" type="direct"/>
            <relation active="#struct-120930" type="indirect"/>
            <relation name="UMR8219" active="#struct-441569" type="indirect"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-92973" status="OLD">
          <idno type="IdRef">026404184</idno>
          <idno type="ROR">https://ror.org/0546v5182</idno>
          <orgName>Université de Lille, Sciences et Technologies</orgName>
          <date type="end">2017-12-31</date>
          <desc>
            <address>
              <addrLine>Cité Scientifique - 59655 Villeneuve d'Ascq Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.univ-lille1.fr/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-300009" status="VALID">
          <idno type="ROR">https://ror.org/02kvxyf05</idno>
          <orgName>Institut National de Recherche en Informatique et en Automatique</orgName>
          <orgName type="acronym">Inria</orgName>
          <desc>
            <address>
              <addrLine>Domaine de VoluceauRocquencourt - BP 10578153 Le Chesnay Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/en/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-301700" status="OLD">
          <idno type="IdRef">026404524</idno>
          <idno type="ISNI">0000000121517701</idno>
          <idno type="ROR">https://ror.org/025b4c754</idno>
          <orgName>Université de Lille, Sciences Humaines et Sociales</orgName>
          <date type="end">2017-12-31</date>
          <desc>
            <address>
              <addrLine>Domaine universitaire du "Pont de Bois"Rue du Barreau BP 60149 59653 Villeneuve d'Ascq Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.univ-lille3.fr/</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
        <org type="laboratory" xml:id="struct-104752" status="VALID">
          <idno type="RNSR">200818245B</idno>
          <idno type="ROR">https://ror.org/04eej9726</idno>
          <orgName>Centre Inria de l'Université de Lille</orgName>
          <desc>
            <address>
              <addrLine>Parc Scientifique de la Haute Borne 40, avenue Halley Bât.A, Park Plaza 59650 Villeneuve d'Ascq</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/lille/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-300009" type="direct"/>
          </listRelation>
        </org>
        <org type="laboratory" xml:id="struct-183073" status="OLD">
          <orgName>Laboratoire d'Automatique, Génie Informatique et Signal</orgName>
          <orgName type="acronym">LAGIS</orgName>
          <desc>
            <address>
              <addrLine>LAGIS Ecole Centrale de Lille Cité Scientifique 59655 Villeneuve d'Ascq</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://lagis.ec-lille.fr/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-92973" type="direct"/>
            <relation active="#struct-120930" type="direct"/>
            <relation name="UMR8219" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-120930" status="VALID">
          <idno type="IdRef">256304629</idno>
          <idno type="ISNI">0000000122034461</idno>
          <idno type="ROR">https://ror.org/01x441g73</idno>
          <orgName>Centrale Lille</orgName>
          <desc>
            <address>
              <addrLine>École Centrale de Lille - Cité Scientifique - CS 20048 59651 Villeneuve d'Ascq Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://centralelille.fr/</ref>
          </desc>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>