Self-supervised representation learning and applications to image and video analysis - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Self-supervised representation learning and applications to image and video analysis

Apprentissage auto-supervisé de représentation et applications à l'analyse d'images et de vidéos

Résumé

In this thesis, we develop approaches to perform self-supervised learning for image and video analysis. Self-supervised representation learning allows to pretrain neural networks to learn general concepts without labels before specializing in downstream tasks faster and with few annotations. We present three contributions to self-supervised image and video representation learning. First, we introduce the theoretical paradigm of soft contrastive learning and its practical implementation called Similarity Contrastive Estimation (SCE) connecting contrastive and relational learning for image representation. Second, SCE is extended to global temporal video representation learning. Lastly, we propose COMEDIAN a pipeline for local-temporal video representation learning for transformers. These contributions achieved state-of-the-art results on multiple benchmarks and led to several academic and technical published contributions.
Dans cette thèse, nous développons des approches d'apprentissage auto-supervisé pour l'analyse d'images et de vidéos. L'apprentissage de représentation auto-supervisé permet de pré-entraîner les réseaux neuronaux à apprendre des concepts généraux sans annotations avant de les spécialiser plus rapidement à effectuer des tâches, et avec peu d'annotations. Nous présentons trois contributions à l'apprentissage auto-supervisé de représentations d'images et de vidéos. Premièrement, nous introduisons le paradigme théorique de l'apprentissage contrastif doux et sa mise en œuvre pratique appelée Estimation Contrastive de Similarité (SCE) qui relie l'apprentissage contrastif et relationnel pour la représentation d'images. Ensuite, SCE est étendue à l'apprentissage de représentation vidéo temporelle globale. Enfin, nous proposons COMEDIAN, un pipeline pour l'apprentissage de représentation vidéo locale-temporelle pour l'architecture transformer. Ces contributions ont conduit à des résultats de pointe sur de nombreux benchmarks et ont donné lieu à de multiples contributions académiques et techniques publiées.
Fichier principal
Vignette du fichier
DENIZE-Julien.pdf (26.31 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04539836 , version 1 (09-04-2024)

Identifiants

  • HAL Id : tel-04539836 , version 1

Citer

Julien Denize. Self-supervised representation learning and applications to image and video analysis. Artificial Intelligence [cs.AI]. Normandie Université, 2023. English. ⟨NNT : 2023NORMIR37⟩. ⟨tel-04539836⟩
0 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More