Apprentissage non-supervisé de représentations pour l'analyse de séquences vidéos - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

Unsupervised representation learning for video sequence analysis

Apprentissage non-supervisé de représentations pour l'analyse de séquences vidéos

Résumé

The work in this thesis proposes new unsupervised representation learning methods on videos. The goal is to pretrain a neural network without using annotated examples, which are difficult to collect in large quantities. The methods are then evaluated on the task of action recognition. Our work focuses on contrastive learning methods which uses a similarity in the representation space. This similarity is maximized with the positive example and minimized with negative ones. The first two methods take into account the temporality of the videos as a supervision. The first one is based on CPC [vdOLV18]. Our work shows that it is useful on videos and the advantages of using the autoregressive formulation with powerful models taking in input feature maps and also the advantage of using difficult negative examples. The second one is based on BERT [DCLT19], a NLP pretraining method. We show that it can be used in combination with InfoNCE loss and the importance of the masking strategy choice. Finally, we tackle the problem of the important number of negative examples and the long training time. We increased the number of negative and positive examples of SimCLR [CKNH20] at the representation level by linear interpolation. This proposition showed a gain comparedwith the SimCLR baseline on image and video data. These different pretraining methods obtain equivalent or better results than state of the art ones.
Les travaux effectués dans cette thèse s’intéressent au développement de méthodes d’apprentissage non supervisé de représentations de vidéos. Le but est donc de pré-entraîner un réseau de neurones sans utiliser de données annotées qui sont difficiles à obtenir en grand nombre. Les méthodes sont ensuite évaluées sur la tâche de reconnaissance d’actions, en classification linéaire par exemple. Nous nous sommes plus particulièrement intéressés aux méthodes contrastives qui utilisent une similarité dans l’espace des représentations. Cette similarité doit être maximisée avec l’exemple positif et minimisée avec les exemples négatifs. Nous avons tout d’abord développé deux méthodes qui prennent en compte l’aspect temporel des vidéos comme supervision. Le but est de prédire certains segments vidéos à partir des autres. La première approche se base sur la méthode CPC [vdOLV18]. Nous montrons qu’il est possible de l’appliquer au domaine de la vidéo et montrons l’avantage de la formulation autorégressive avec des modèles expressifs prenant en entrée des cartes de caractéristique ainsi que l’utilisation d’exemples négatifs difficiles. La deuxième se base sur BERT [DCLT19], une méthode d’apprentissage de représentations dans le domaine du NLP. Nous montrons qu’elle est utilisable avec la fonction de coût InfoNCE et l’importance de la stratégie de masquage. Finalement, nous nous attaquons aux problèmes du nombre d’exemples négatifs et du temps d’apprentissage des méthodes contrastives. On propose d’augmenter les exemples positifs et négatifs de SimCLR [CKNH20] au niveau des représentations par interpolation linéaire. Nous avons montré un gain sur les images et les vidéos par rapport à la méthode SimCLR classique. Ces différentes méthodes nous permettent d’obtenir des résultats équivalents ou meilleurs que l’état de l’art.
Fichier principal
Vignette du fichier
LORRE.pdf (30.75 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03572439 , version 1 (14-02-2022)

Identifiants

  • HAL Id : tel-03572439 , version 1

Citer

Guillaume Lorre. Apprentissage non-supervisé de représentations pour l'analyse de séquences vidéos. Apprentissage [cs.LG]. Normandie Université, 2021. Français. ⟨NNT : 2021NORMIR17⟩. ⟨tel-03572439⟩
139 Consultations
118 Téléchargements

Partager

Gmail Facebook X LinkedIn More