Dual memory system to overcome catastrophic forgetting - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Dual memory system to overcome catastrophic forgetting

Modèle de mémoire double pour de l'apprentissage incrémental

Résumé

One of the main characteristics that make human beings unique is their ability to learn continually. It is part of individual development and it is vital to progress and to avoid stagnation. In order to evolve, human beings need to gain experience and acquire competencies to broaden their skills constantly. Artificial neural networks lack the capacity to store memories and to learn incrementally. Indeed, much research is being done to enable artificial neural networks to learn continually and to avoid catastrophic forgetting.For almost three decades, researchers have been dealing with the problem of catastrophic forgetting by studying the neurogenesis of the brain, synaptic consolidation and replay systems. Deep learning has yielded remarkable results in many applications. However, artificial neural networks still suffer from catastrophic forgetting of old knowledge as new information is learned. Modeling true continual learning, as humans do, remains a challenge and requires finding appropriate solutions to this problem.First, neurogenesis-based approaches evolve the neural network architecture to adapt to different training experiences using independent sets of parameters. Second, synaptic consolidation-based approaches limit the changes in important parameters of previously learned tasks. Thus, new tasks employ neurons that are less useful for previous tasks. It is therefore possible to rehearse previously learned information in two ways: with real samples (rehearsal) or with synthetic samples (pseudo-rehearsal).Rehearsal methods overcome catastrophic forgetting by replaying an amount of previously learned examples stored in dedicated memory buffers.Alternatively, pseudo-rehearsal methods generate pseudo-samples to emulate the previously learned data, alleviating the need for dedicated buffers.Reviewing what has been previously learned through examples or pseudo-samples while learning new tasks allows adapting the global set of parameters for past and new tasks. In this way, it is possible to overcome catastrophic forgetting similarly to classical deep learning training when the entire dataset is present. Since replay methods often rely on limited memory buffers or on roughly generative models, their biggest challenge is to represent correctly and globally what has been previously learned.This thesis brings together contributions on continual learning, on the properties of autoencoders properties and knowledge transfer. First, we make a distinction between continual learning and catastrophic forgetting. We highlight certain limitations concerning the settings used to evaluate continual learning approaches and we draw future research tracks. Second, we introduce an auto-associative memory module and a sampling method to generate synthetic samples for capturing and transferring knowledge that replay methods can employ. Third, we propose a continual learning model when privacy issues exist. We improve and extend this model by combining pseudo-rehearsal and rehearsal methods to provide an efficient and competitive solution that improves state-of-the-art results. Finally, in a comprehensive investigation, we attempt to determine what examples to use in replay methods to alleviate catastrophic forgetting. We detail methodological aspects of each contribution and we provide evidence of our contributions on datasets such as MNIST, SVHN, CIFAR-10 and CIFAR-100.
L'une des principales caractéristiques qui rendent l'être humain unique est sa capacité à apprendre en permanence. Cela fait partie du développement individuel et c'est vital pour progresser et éviter la stagnation. Pour évoluer, l'être humain a besoin d'acquérir de l'expérience et des compétences afin d'élargir constamment son champ d'action. Les réseaux neuronaux artificiels n'ont pas la capacité de stocker des souvenirs et d'apprendre de manière incrémentielle. De fait, de nombreuses recherches sont menées pour permettre aux réseaux neuronaux artificiels d'apprendre en permanence et d'éviter les oublis catastrophiques.Les réseaux de neurones artificiels souffrent toujours de l'oubli catastrophique des anciennes connaissances au fur et à mesure de l'apprentissage de nouvelles informations. Modéliser un véritable apprentissage continu, comme le font les humains, reste un défi et nécessite de trouver des solutions appropriées à ce problème.Premièrement, les approches basées sur la neurogenèse font évoluer l'architecture du réseau neuronal pour qu'il s'adapte à différentes expériences de formation en utilisant des ensembles indépendants de paramètres. Deuxièmement, les approches basées sur la consolidation synaptique limitent les changements des paramètres importants des tâches apprises précédemment. Ainsi, les nouvelles tâches utilisent des neurones qui sont moins utiles pour les tâches précédentes. Il est donc possible de revoir les informations apprises précédemment de deux manières : avec des échantillons réels (répétition) ou avec des échantillons synthétiques (pseudo-répétition).Les méthodes de répétition permettent de surmonter l'oubli catastrophique en rejouant une quantité d'exemples précédemment appris, stockés dans des buffers de mémoire dédiés.D'autre part, les méthodes de pseudo-répétition génèrent des pseudo-échantillons pour émuler les données précédemment apprises, ce qui évite d'avoir recours à des tampons dédiés.L'examen de ce qui a été appris précédemment par le biais d'exemples ou de pseudo-échantillons pendant l'apprentissage de nouvelles tâches permet d'adapter l'ensemble global de paramètres aux tâches passées et nouvelles. De cette façon, il est possible de surmonter l'oubli catastrophique de manière similaire à l'apprentissage profond classique lorsque l'ensemble des données est présent. Comme les méthodes de repetition s'appuient souvent sur des buffers de mémoire limités ou sur des modèles grossièrement génératifs, leur plus grand défi est de représenter correctement et globalement ce qui a été appris précédemment.Cette thèse rassemble des contributions sur l'apprentissage continu, sur les propriétés des autoencodeurs et sur le transfert de connaissances. Tout d'abord, nous faisons une distinction entre l'apprentissage continu et l'oubli catastrophique. Nous soulignons certaines limitations concernant les paramètres utilisés pour évaluer les approches d'apprentissage continu et nous traçons des pistes de recherche futures. Deuxièmement, nous introduisons un module de mémoire auto-associative et une méthode d'échantillonnage afin de générer des échantillons synthétiques pour capturer et transférer les connaissances que les méthodes de repetition peuvent utiliser. Troisièmement, nous proposons un modèle d'apprentissage continu lorsque des problèmes de confidentialité existent. Nous améliorons et étendons ce modèle en combinant des méthodes de pseudo-répétition et de répétition pour fournir une solution efficace et compétitive qui améliore les résultats de l'état de l'art. Enfin, dans le cadre d'une enquête exhaustive, nous tentons de déterminer quels exemples utiliser dans les méthodes de relecture pour atténuer l'oubli catastrophique. Nous détaillons les aspects méthodologiques de chaque contribution et nous fournissons des preuves de nos contributions sur des ensembles de données tels que MNIST, SVHN, CIFAR-10 et CIFAR-100.
Fichier principal
Vignette du fichier
SOLINAS_2021_archivage.pdf (571.78 Ko) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03656079 , version 1 (01-05-2022)

Identifiants

  • HAL Id : tel-03656079 , version 1

Citer

Miguel Angel Solinas. Dual memory system to overcome catastrophic forgetting. Cognitive Sciences. Université Grenoble Alpes [2020-..], 2021. English. ⟨NNT : 2021GRALS033⟩. ⟨tel-03656079⟩
116 Consultations
92 Téléchargements

Partager

Gmail Facebook X LinkedIn More