Human Object Interaction Recognition - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2017

Human Object Interaction Recognition

Reconnaissance des intéractions humaines avec l'objet

Résumé

In this thesis, we have investigated the human object interaction recognition by using the skeleton data and local depth information provided by RGB-D sensors. There are two main applications we address in this thesis: human object interaction recognition and abnormal activity recognition. First, we propose a spatio-temporal modeling of human-object interaction videos for on-line and off-line recognition. In the spatial modeling of human object interactions, we propose low-level feature and object related distance feature which adopted on on-line human object interaction recognition and abnormal gait detection. Then, we propose object feature, a rough description of the object shape and size as new features to model human-object interactions. This object feature is fused with the low-level feature for online human object interaction recognition. In the temporal modeling of human object interactions, we proposed a shape analysis framework based on low-level feature and object related distance feature for full sequence-based off-line recognition. Experiments carried out on two representative benchmarks demonstrate the proposed method are effective and discriminative for human object interaction analysis. Second, we extend the study to abnormal gait detection by using the on-line framework of human object interaction classification. The experiments conducted following state-of-the-art settings on the benchmark shows the effectiveness of proposed method. Finally, we collected a multi-view human object interaction dataset involving abnormal and normal human behaviors by RGB-D sensors. We test our model on the new dataset and evaluate the potential of the proposed approach.
Dans cette thèse, nous avons étudié la reconnaissance des actions qui incluent l’intéraction avec l’objet à partir des données du skeleton et des informations de profondeur fournies par les capteurs RGB-D. Il existe deux principales applications que nous abordons dans cette thèse: la reconnaissance de l’interaction humaine avec l’objet et la reconnaissance d’une activité anormale. Nous proposons, dan un premier temps, une modélisation spatiotemporelle pour la reconnaissance en ligne et hors ligne des intéractions entre l’humain et l’objet. Dans la modélisation spatiale, nous proposons des caractéristiques de bas niveau liés à la distance entre les points du skeleton et la distance entre l’objet et les points du skeleton. Ces caractéristiques ont été adoptées pour la reconnaissance en ligne des intéractions humaines avec l’objet et pour la détection de la démarche anormale. Ensuite, nous proposons des caractéristiques liées à d’objet qui décrivent approximativement la forme et la taille de l’objet. Ces caractéristiques sont fusionnées avec les caractéristiques bas-niveau pour la reconnaissance en ligne des intéractions humaines avec l’objet. Dans la modélisation temporelle, nous avons proposé un framework élastique pour aligner les trajectoires des distances dans le temps afin de permettre une reconnaissance hors ligne invariante au taux d’exécution. Les expériences menées sur deux benchmarks démontrent l’efficacité de la méthode proposée. Dans le deuxième volet de ce travail, nous étendons l’étude à la détection de la démarche anormale en utilisant le cadre en ligne l’approche. Afin de valider la robustesse de l’approche à la pose, nous avons collecté une base multivues pour des intéractions humaines avec l’objet, de façon normale et anormale. Les résultats expérimentaux sur le benchmark des actions anormales frontales et sur la nouvelles base prouvent l’efficacité de l’approche.
Fichier principal
Vignette du fichier
MengThesis.pdf (30.73 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01709673 , version 1 (15-02-2018)

Identifiants

  • HAL Id : tel-01709673 , version 1

Citer

Hassen Drira. Human Object Interaction Recognition. Computer Science [cs]. Université Lille 1 - Sciences et Technologies, 2017. English. ⟨NNT : ⟩. ⟨tel-01709673⟩
749 Consultations
68 Téléchargements

Partager

Gmail Facebook X LinkedIn More