Large-scale deep class-incremental learning - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Large-scale deep class-incremental learning

Apprentissage incrémental profond à large échelle

Résumé

Incremental learning (IL) enables the adaptation of artificial agents to dynamic environments in which data is presented in streams. This type of learning is needed when access to past data is limited or impossible but is affected by catastrophic forgetting. This phenomenon consists of a drastic performance drop for previously learned information when ingesting new data. One way to tackle this problem is to use a limited memory of the past to refresh previously learned knowledge. Currently, memory-based approaches achieve the best state-of-the-art results. In this thesis, we present many methods with and without memory of the past. Our methods deal with catastrophic forgetting either by (1) calibrating past and new classes scores at the end of the network, or (2) performing initial class weights replay, or (3) transferring knowledge between reference and target datasets. We notably investigate the usefulness of the widely used knowledge distillation and the effect of enabling or not a memory of the past. Extensive experiments against a range of state-of-the-art approaches were conducted in order to validate the efficiency of our methods.
L'apprentissage incrémental (IL) permet l'adaptation d'agents artificiels à des environnements dynamiques dans lesquels les données sont présentées séquentiellement. Ce type d’apprentissage est nécessaire lorsque l'accès aux données passées est limité ou impossible, mais il est affecté par l'oubli catastrophique. Ce phénomène consiste en une chute drastique des performances des informations précédemment apprises lors de l'ingestion de nouvelles données. Une façon de résoudre ce problème est d'utiliser une mémoire limitée du passé pour rafraîchir les connaissances apprises précédemment. Actuellement, les approches basées sur la mémoire obtiennent les meilleurs résultats de l'état de l'art. Dans cette thèse, nous présentons plusieurs méthodes avec et sans mémoire du passé. Nos méthodes traitent l'oubli catastrophique soit (1) en calibrant les scores des classes passées et nouvelles à la fin du réseau, soit (2) en réutilisant les poids initiaux des classes passées, soit (3) en transférant les connaissances entre les datasets de référence et cibles. Nous étudions notamment l'utilité de la distillation largement utilisée et l'effet d'utiliser ou non une mémoire du passé. Des expériences approfondies contre des méthodes de l'état de l'art ont été menées afin de valider l'efficacité de nos méthodes.
Fichier principal
Vignette du fichier
2021IMTA0281_Belouadah-Eden.pdf (6.68 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03478553 , version 1 (14-12-2021)

Identifiants

  • HAL Id : tel-03478553 , version 1

Citer

Eden Belouadah. Large-scale deep class-incremental learning. Computer Vision and Pattern Recognition [cs.CV]. Ecole nationale supérieure Mines-Télécom Atlantique, 2021. English. ⟨NNT : 2021IMTA0281⟩. ⟨tel-03478553⟩
178 Consultations
394 Téléchargements

Partager

Gmail Facebook X LinkedIn More