Learning human body and human action representations from visual data - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

Learning human body and human action representations from visual data

Apprentissage des représentations du corps humain et de l'action humaine à partir de données visuelles

Résumé

The focus of visual content is often people. Automatic analysis of people from visual data is therefore of great importance for numerous applications in content search, autonomous driving, surveillance, health care, and entertainment. The goal of this thesis is to learn visual representations for human understanding. Particular emphasis is given to two closely related areas of computer vision: human body analysis and human action recognition. In summary, our contributions are the following: (i) we generate photo-realistic synthetic data for people that allows training CNNs for human body analysis, (ii) we propose a multi-task architecture to recover a volumetric body shape from a single image, (iii) we study the benefits of long-term temporal convolutions for human action recognition using 3D CNNs, (iv) we incorporate similarity training in multi-view videos to design view-independent representations for action recognition.
Le contenu visuel se concentre souvent sur les humains. L’analyse automatique des humains à partir de données visuelles revêt donc une grande importance pour de nombreuses applications. Le but de cette thèse est d’apprendre des représentations visuelles pour l’analyse des humains. Un accent particulier est mis sur deux domaines étroitement liés de la vision artificielle : l’analyse du corps humain et la reconnaissance des actions. En résumé, nos contributions sont les suivantes : (i) nous générons des données synthétiques photoréalistes de personnes permettant l’entraînement de CNNs pour l’analyse du corps humain, (ii) nous proposons une architecture multitâche permettant d’obtenir une représentation volumétrique du corps à partir d’une seule image, (iii) nous étudions les avantages des convolutions temporelles à long terme pour la reconnaissance de l’action humaine à l’aide de CNNs 3D, (iv) nous incorporons une fonction de coût de similarité des vidéos multi-vues pour concevoir des représentations invariantes au changement de vue.
Fichier principal
Vignette du fichier
Varol-2019-These.pdf (67.21 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)
Loading...

Dates et versions

tel-02266593 , version 1 (14-08-2019)
tel-02266593 , version 2 (18-05-2020)

Identifiants

  • HAL Id : tel-02266593 , version 2

Citer

Gül Varol. Learning human body and human action representations from visual data. Computer Vision and Pattern Recognition [cs.CV]. Université Paris sciences et lettres, 2019. English. ⟨NNT : 2019PSLEE029⟩. ⟨tel-02266593v2⟩
1412 Consultations
609 Téléchargements

Partager

Gmail Facebook X LinkedIn More