Continual class-incremental learning for autonomous object recognition in image sequences
Apprentissage incrémental de classe continu pour la reconnaissance autonome d'objets dans des séquences d'images
Résumé
For an agent, it is very challenging to autonomously elaborate and make use of a visual representation of its open environment. It is necessary to introduce new categories for unseen objects, and recognize already seen objects to refine and make evolve the representation, which is even more difficult when undergoing uncertainty and variability under uncontrolled operation conditions. The autonomy of the agent in classification, its adaptation to a changing environment as well as continual representation building are important properties of such a dynamic machine learning system. However, in some of the existing systems, especially with neural networks, the acquired representation tends to gradually drift away from initial observations which causes catastrophic forgetting. Another challenge comes from the decision whether incoming observations are new or belong to already seen objects. One has to detect novelty and introduce a new concept or class if necessary, and maintain the already acquired representation, i.e. recognize the object and make use of new observations appropriately, which is part of the more general problem of finding a meaningful and robust representation under the stability-plasticity dilemma. In this thesis, we address these challenges by adopting a state-of-the-art continual unsupervised rep- resentation learning model based on a specific Variational Auto-Encoder (VAE) architecture that we extended and applied on sequences of images showing different objects. Assuming that, in a realistic environment, there is some continuity in the sequence of object observations, the first contribution is an algorithm that robustly detects when object class changes occur in the image stream based on the dynamic evolution of the observation likelihood. It is shown that the thus obtained clusters in the representation space are more consistent with real objects and therefore facilitate the classiffication of known objects. The second contribution replaces the first approach and further increases the autonomy of the model by introducing an algorithm based on the Hotelling t-squared statistical hypothesis test that is able to continuously detect class changes and simultaneously decides if the currently observed object is novel or already present in the learnt representation. Extensive experimental results on several image benchmarks show that this self supervised continual learning approach is able to build representations that favor the autonomy of the agent by minimising supervision while maintaining a high object recognition accuracy compared to the state of the art
Pour un agent, apprendre une représentation visuelle de façon autonome en environnement ouvert est une tâche complexe. Elle nécessite pour un agent de reconnaître les catégories d'objets déjà perçues et apprises ou d'introduire de nouvelles catégories d'objets à sa représentation. Ce problème s'avère difficile de par la variabilité des objets perçus au sein d'une même catégorie, mais également à cause du caractère imprévisible des séquences d'objets auxquelles est soumis l'agent. Pour le système ainsi formé, les capacités à faire évoluer une représentation de façon dynamique et continue représente un défi pour les méthodes du domaine de l'apprentissage automatique (machine learning). Pour certains modèles, particulièrement à base de réseaux de neurones, la représentation apprise à tendance à progressivement s'éloigner des observations initiales pour finalement mener à l'oubli de l'expérience la plus ancienne (catastrophique forgetting) résultant du dilemme de stabilité-plasticité. Une autre difficulté provient du couplage étroit entre la dynamique de reconnaissance du statut des objets (connus/inconnus) qui exploite la représentation, et la représentation elle-même alimentée et mise à jour par ce processus de reconnaissance. Dans cette thèse, nous adressons ces défis en adoptant une méthode de l'état de l'art dédiée à l'apprentissage continu et non supervisé basé sur un autoencodeur variationnel spécifique (VAE), pour l'étendre et l'appliquer à l'apprentissage d'objets à travers des séquences d'images de différents objets. Dans ce travail, l'accent est mis sur le fait qu'en environnement réaliste, on peut supposer une certaine continuité dans les objets perçus. Une première contribution introduit un algorithme qui détecte de façon robuste les changements de catégories d'objet dans le flux d'images suivant l'évolution des probabilités d'observation. Nous montrons que les groupes d'objets appris au sein de la représentation permettent une amélioration de la consistance avec les objets perçus ce qui facilite la reconnaissance des objets issus de catégories connues. Pour la deuxième contribution de ce travail, nous améliorons l'autonomie du modèle en introduisant un algorithme exploitant le test statistique du T carré de Hotelling qui est capable de détecter de façon continue les changements de catégories d'objets, tout en permettant d'identifier un objet encore inconnu pour le modèle. Des expérimentations étendues sur différents jeux d'apprentissage d'images montrent que cette approche d'apprentissage continu auto-supervisée permet d'accroître l'autonomie de l'agent, en minimisant les besoins de supervision extérieure tout en conservant un niveau de reconnaissance élevé par rapport à ce qui est présenté dans la littérature.
| Origine | Version validée par le jury (STAR) |
|---|