Reconnaissance d’actions à partir d’un faible nombre de vidéos 2D + profondeur : approche par construction de graphes de scène et apprentissage auto-supervisé - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Action recognition from a small number of 2D + depth videos : an approach using scene graphs and self-supervised learning

Reconnaissance d’actions à partir d’un faible nombre de vidéos 2D + profondeur : approche par construction de graphes de scène et apprentissage auto-supervisé

Résumé

Learning from demonstration can ease the access to robotics by simply having to do a task in front of a robot for it to be able to reproduce the same task ; however, it can be hard to learn complex tasks from raw demonstrations. A way to simplify this process it to cut tasks in simple actions that the robot will learn independently. In this thesis, we propose to extract elementary actions performed by humans in videos ; in order to do this, we represent our scenes as graphs where each node is an object from the demonstration, and we classify them using a GNN (Graph Neural Network). We explore several design strategies for our graphs and show that is is possible to improve the quality of action recognition by carefully chosing the right representation. Since video demonstrations are rarely annotated, we also propose to apply self-supervised techniques to our graphs in order to make use of our annotated data to further improve our model’s performance. Finally, we record 760 demonstrations and gather human attention on some of them to compare it to the attention of our GNN.
L’apprentissage par démonstration peut permettre de rendre la robotique plus accessible en ayant simplement à réaliser une tâche devant un robot pour que celui-ci la reproduise ; cependant, il peut être difficile d’apprendre des tâches complexes depuis des démonstrations brutes. Une manière de simplifier ce processus est de séparer les tâches en actions simples que le robot pourra apprendre indépendamment. Dans cette thèse, nous proposons donc d’extraire les actions élémentaires effectuées par des humains dans des vidéos ; pour cela, nous représentons les scènes sous la forme de graphes symboliques dans lesquels chaque noeud est un objet de la démonstration, et nous les classifions grâce à un GNN (Graph Neural Network). Nous explorons plusieurs stratégies de conception des graphes et montrons qu’il est possible d’améliorer la qualité de la reconnaissance d’actions en choisissant la bonne représentation. Puisque les démonstrations sont rarement annotées, nous proposons également des techniques d’apprentissage auto-supervisé appliquées aux graphes permettant de faire usage de données non labellisées pour augmenter encore les performances de notre modèle. Enfin, nous enregistrons 760 démonstrations et récoltons l’attention humaine sur une partie de ces vidéos afin de la comparer à l’attention de notre GNN.
Fichier principal
Vignette du fichier
RIAND.pdf (181.92 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04208309 , version 1 (15-09-2023)

Identifiants

  • HAL Id : tel-04208309 , version 1

Citer

Mathieu Riand. Reconnaissance d’actions à partir d’un faible nombre de vidéos 2D + profondeur : approche par construction de graphes de scène et apprentissage auto-supervisé. Autre [cond-mat.other]. Nantes Université, 2023. Français. ⟨NNT : 2023NANU4014⟩. ⟨tel-04208309⟩
109 Consultations
2 Téléchargements

Partager

Gmail Facebook X LinkedIn More