Spatio-temporal Attention Mechanisms for Activity Recognition - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Spatio-temporal Attention Mechanisms for Activity Recognition

Mécanismes d'attention spatio-temporels pour la reconnaissance d'activité

Résumé

This thesis targets recognition of human actions in videos. Action recognition is a complicated task in the field of computer vision due to its high complex challenges. With the emergence of deep learning and large scale datasets from internet sources, substantial improvements have been made in video understanding. For instance, state-of-the-art 3D convolutional networks like I3D pre-trained on huge datasets like Kinetics have successfully boosted the recognition of actions from internet videos. But, these networks with rigid kernels applied across the whole space-time volume cannot address the challenges exhibited by Activities of Daily Living (ADL). We are particularly interested in discriminative video representation for ADL. Besides the challenges in generic videos, ADL exhibits - (i) fine-grained actions with short and subtle motion like pouring grain and pouring water, (ii) actions with similar visual patterns differing in motion patterns like rubbing hands and clapping, and finally (iii) long complex actions like cooking. In order to address these challenges, we have made three key contributions. The first contribution includes - a multi-modal fusion strategy to take the benefits of multiple modalities into account for classifying actions. However the question remains, how to combine multiple modalities in an end-to-end manner? How can we make use of the 3D information to guide the current state-of-the-art RGB networks for action classification? To this end, we propose articulated pose driven attention mechanisms for action classification. We propose, three variants of spatio-temporal attention mechanisms exploiting RGB and 3D pose modalities to address the aforementioned challenges (i) and (ii) for short actions. Our third main contribution is a Temporal Model on top of our attention based model. The video representation retaining dense temporal information enables the temporal model to model long complex actions which is crucial for ADL.We have evaluated our first contribution on three small-scale public datasets: CAD-60, CAD-120 and MSRDailyActivity3D. On the other hand, we have evaluated our remaining two contributions on four public datasets: a large scale human activity dataset: NTU-RGB+D 120, its subset NTU-RGB+D 60, a real-world challenging human activity dataset: Toyota Smarthome and a small scale human-object interaction dataset Northwestern UCLA. Our experiments show that the methods proposed in this thesis outperform the state-of-the-art results.
Cette thèse vise la reconnaissance des actions humaines dans les vidéos. La reconnaissance des actions est une tâche compliquée dans le domaine de la vision par ordinateur en raison de ses défis complexes et élevés. Avec l'émergence de l'apprentissage en profondeur et des ensembles de données à grande échelle provenant de sources Internet, des améliorations substantielles ont été apportées à la compréhension vidéo. Par exemple, des réseaux convolutifs 3D de pointe comme I3D pré-formés sur d'énormes ensembles de données comme Kinetics ont réussi à accroître la reconnaissance des actions des vidéos Internet. Mais, ces réseaux à noyaux rigides appliqués sur l'ensemble du volume espace-temps ne peuvent pas relever les défis présentés par les activités de la vie quotidienne (ADL).Nous sommes particulièrement intéressés par la représentation vidéo discriminante pour ADL. Outre les défis des vidéos génériques, ADL présente - (i) des actions à grain fin avec des mouvements courts et subtils comme verser du grain et verser de l'eau, (ii) des actions avec des modèles visuels similaires différant par des modèles de mouvement comme se frotter les mains et applaudir, et enfin ( iii) de longues actions complexes comme la cuisine. Afin de relever ces défis, nous avons apporté des contributions.La première contribution comprend - une stratégie de fusion multimodale pour prendre en compte les avantages des modalités multiples pour classer les actions. Cependant, la question demeure: comment combiner plusieurs modalités de bout en bout? Comment pouvons-nous utiliser les informations 3D pour guider les réseaux RVB de pointe actuels pour la classification des actions? À cette fin, nous proposons des mécanismes articulés d'attention axée sur la pose pour la classification des actions. Nous proposons trois variantes de mécanismes d'attention spatio-temporelle exploitant les modalités de pose RVB et 3D pour relever les défis susmentionnés (i) et (ii) pour des actions courtes. Notre troisième contribution principale est un modèle temporel en plus de notre modèle basé sur l'attention. La représentation vidéo conservant des informations temporelles denses permet au modèle temporel de modéliser de longues actions complexes, ce qui est crucial pour ADL.Nous avons évalué notre première contribution sur trois ensembles de données publics à petite échelle: CAD-60, CAD-120 et MSRDailyActivity3D. D'un autre côté, nous avons évalué nos deux contributions restantes sur quatre ensembles de données publics: un ensemble de données sur l'activité humaine à grande échelle: NTU-RGB + D 120, son sous-ensemble NTU-RGB + D 60, un ensemble de données sur l'activité humaine difficile dans le monde réel: Toyota Smarthome et un ensemble de données d'interaction homme-objet à petite échelle Northwestern UCLA. Nos expériences montrent que les méthodes proposées dans cette thèse surpassent les résultats de pointe.
Fichier principal
Vignette du fichier
2020COAZ4056.pdf (16.74 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03177892 , version 1 (23-03-2021)

Identifiants

  • HAL Id : tel-03177892 , version 1

Citer

Srijan Das. Spatio-temporal Attention Mechanisms for Activity Recognition. Image Processing [eess.IV]. Université Côte d'Azur, 2020. English. ⟨NNT : 2020COAZ4056⟩. ⟨tel-03177892⟩
153 Consultations
158 Téléchargements

Partager

Gmail Facebook X LinkedIn More