Learning human body and human action representations from visual data - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

Learning human body and human action representations from visual data

Apprentissage des représentations du corps humain et de l'action humaine à partir de données visuelles

Résumé

The focus of visual content is often people. Automatic analysis of people from visual data is therefore of great importance for numerous applications in content search, autonomous driving, surveillance, health care, and entertainment. The goal of this thesis is to learn visual representations for human understanding. Particular emphasis is given to two closely related areas of computer vision: human body analysis and human action recognition. In human body analysis, we first introduce a new synthetic dataset for people, the SURREAL dataset, for training convolutional neural networks (CNNs) with free labels. We show the generalization capabilities of such models on real images for the tasks of body part segmentation and human depth estimation. Our work demonstrates that models trained only on synthetic data obtain sufficient generalization on real images while also providing good initialization for further training. Next, we use this data to learn the 3D body shape from images. We propose the BodyNet architecture that benefits from the volumetric representation, the multi-view re-projection loss, and the multi-task training of relevant tasks such as 2D/3D pose estimation and part segmentation. Our experiments demonstrate the advantages from each of these components. We further observe that the volumetric representation is flexible enough to capture 3D clothing deformations, unlike the more frequently used parametric representation. In human action recognition, we explore two different aspects of action representations. The first one is the discriminative aspect which we improve by using long-term temporal convolutions. We present an extensive study on the spatial and temporal resolutions of an input video. Our results suggest that the 3D CNNs should operate on long input videos to obtain state-of-the-art performance. We further extend 3D CNNs for optical flow input and highlight the importance of the optical flow quality. The second aspect that we study is the view-independence of the learned video representations. We enforce an additional similarity loss that maximizes the similarity between two temporally synchronous videos which capture the same action. When used in conjunction with the action classification loss in 3D CNNs, this similarity constraint helps improving the generalization to unseen viewpoints. In summary, our contributions are the following: (i) we generate photo-realistic synthetic data for people that allows training CNNs for human body analysis, (ii) we propose a multi-task architecture to recover a volumetric body shape from a single image, (iii) we study the benefits of long-term temporal convolutions for human action recognition using 3D CNNs, (iv) we incorporate similarity training in multi-view videos to design view-independent representations for action recognition.
Le contenu visuel se concentre souvent sur les humains. L'analyse automatique des humains à partir de données visuelles revêt donc une grande importance pour de nombreuses applications dans la recherche de contenu, la conduite autonome, la surveillance, la santé et le divertissement. Le but de cette thèse est d'apprendre des représentations visuelles pour l'analyse des humains. Un accent particulier est mis sur deux domaines étroitement liés de la vision artificielle: l'analyse du corps humain et la reconnaissance des actions humaines. Dans l'analyse du corps humain, nous introduisons tout d'abord un nouvel ensemble de données synthétiques sur les personnes, l'ensemble de données SURREAL, destiné à l'entraînement de réseaux de neurones convolutionnels (CNN) sans avoir recours à des annotations manuelles. Nous montrons les capacités de généralisation de tels modèles sur des images réelles pour les tâches de segmentation des parties du corps et d’estimation de leurs profondeurs. Notre travail démontre que les modèles entraînés uniquement sur des données synthétiques obtiennent une généralisation suffisante sur des images réelles tout en offrant une bonne initialisation. Ensuite, nous utilisons ces données pour apprendre la forme 3D du corps à partir d'images. Nous proposons l’architecture BodyNet qui tire parti de la représentation volumétrique, de la fonction de coût de re-projection multi-vue et d'une formulation multitâche incluant l’estimation de pose 2D / 3D et la segmentation des parties du corps. Nos expériences démontrent les avantages de chacune de ces composantes. Nous observons en outre que la représentation volumétrique est assez flexible pour capturer les déformations 3D des vêtements, contrairement à la représentation paramétrique plus fréquemment utilisée. Dans la reconnaissance de l'action humaine, nous explorons deux aspects différents des représentations d'action. Le premier est l'aspect discriminant que nous améliorons en utilisant des convolutions temporelles à long terme. Nous présentons une étude approfondie sur les résolutions spatiales et temporelles de la vidéo d'entrée. Nos résultats suggèrent qu'utiliser des CNN 3D sur de longues vidéos d’entrée permet d'obtenir des performances de pointe. Nous étendons ensuite les CNNs 3D, nous ajoutons le flux optique en entrée et soulignons l’importance de sa qualité. Le deuxième aspect que nous étudions est l’indépendance des représentations vidéo apprises par rapport au changement de point de vue. Nous ajoutons une fonction de coût de similarité supplémentaire qui maximise la similarité entre deux vidéos temporellement synchrones qui capturent la même action. Lorsqu'elle est utilisée conjointement avec la perte de classification d'action dans les CNN 3D, cette contrainte de similarité contribue à améliorer la généralisation aux nouveaux points de vue. En résumé, nos contributions sont les suivantes: (i) nous générons des données synthétiques photoréalistes de personnes permettant l'entraînement de CNNs pour l'analyse du corps humain, (ii) nous proposons une architecture multitâche permettant d'obtenir une représentation volumétrique du corps à partir d'une seule image, (iii) nous étudions les avantages des convolutions temporelles à long terme pour la reconnaissance de l'action humaine à l'aide de CNNs 3D, (iv) nous incorporons une fonction de coût de similarité des vidéos multi-vues pour concevoir des représentations invariantes au changement de vue pour la reconnaissance d'action.
Fichier principal
Vignette du fichier
VAROL_Thesis.pdf (67.16 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-02266593 , version 1 (14-08-2019)
tel-02266593 , version 2 (18-05-2020)

Identifiants

  • HAL Id : tel-02266593 , version 1

Citer

Gül Varol. Learning human body and human action representations from visual data. Computer Vision and Pattern Recognition [cs.CV]. Ecole Normale Supérieure (ENS); ED 386 : École doctorale de sciences mathématiques de Paris centre, UPMC, 2019. English. ⟨NNT : ⟩. ⟨tel-02266593v1⟩
1426 Consultations
615 Téléchargements

Partager

Gmail Facebook X LinkedIn More