Discovery of human activities in video - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2012

Discovery of human activities in video

Découvertes d'activités humaines dans des videos

Résumé

The main objective of the thesis is to propose a complete framework for the automatic activity discovery, modelling and recognition using video information. The framework uses perceptual information (e.g. trajectories) as input and goes up to activities (semantics). The framework is divided into five main parts: 1) We break the video into chunks to characterize activities. We propose different techniques to extract perceptual features from the chunks. This way, we build packages of perceptual features capable of describing activity occurring in small periods of time. 2) We propose to learn the video contextual information. We build scene models by learning salient perceptual features. The models end up containing interesting scene regions capable of describing basic semantics (i.e. region where interactions occur). 3) We propose to reduce the gap between low-level vision information and semantic interpretation, by building an intermediate layer composed of primitive Events. The proposed representation for primitive events aims at describing the meaningful motions over the scene. This is achieved by abstracting perceptual features using contextual information in an unsupervised manner. 4) We propose a pattern-based method to discover activities at multiple resolutions (i.e. activities and sub-activities). Also, we propose a generative method to model multi-resolution activities. The models are built as a flexible probabilistic framework easy to update. 5) We propose an activity recognition method that finds in a deterministic manner the occurrences of modelled activities in unseen datasets. Semantics are provided by the method under user interaction. All this research work has been evaluated using real datasets of people living in an apartment (home-care application) and elder patients in a hospital. The work has also been evaluated for other types of applications such as sleeping monitoring.
L'objectif de cette thèse est de proposer une plateforme complète pour la découverte automatique d'activités, leur modélisation et leur reconnaissance à patir de vidéos. La plateforme utilise des informations perceptuelles (i.e des trajectoires) en entrée et produit une reconnaissance sémantique des activités. La plateforme fonctionne en 5 étapes: 1) La video est divisée en plusieurs parties afin de reconnaitre des activités. Nous proposons différentes techniques pour extraire des caractéristiques perceptuelles à partir du découpage. Nous construisons des ensembles de caractéristiques perceptuelles capable de décrire les activités dans des petites périodes de temps. 2) Nous proposons d'apprendre les informations contextuelles de la video. Nous construisons des modèles de scène en apprenant les caractéristiques perceptuelles pertinentes. Le modèle final contient des régions de la scène intéressantes pour décrire des actions sémantiques (i.e des régions ou des interactions arrivent). 3) Nous proposons de réduire le gap entre les informations visuelles de bas niveau et l'interprètation sémantique en construisant un niveau intermédiaire composés d'évènements primitifs. La représentation proposée pour ces évènements primitifs décrit les mouvements intéressants de la scène. Ceci est fait en par abstraction des caractéristiques perceptuelles en utilisant les informations contextuelles de la scène , de manière non supervisée. 4) Nous reconnaissons des activités composées avec une méthode de reconnaissance de chemins. Nous proposons aussi une méthode générique pour modéliser les activités composées. Les modèles sont construits comme des ensembles probabilistes flexibles, faciles à mettre à jour. 5) Nous proposons une méthode de reconnaissance d'activités qui cherche de façon déterministe les occurrences des activités modélisées dans des nouveaux ensemble de données. Les sémantiqes sont générées en interaction avec l'utilisateur. Toute cette approche a été évaluée sur des ensembles de données réels provenant de la surveillance de personnes dans un appartement et de personnes agées dans un hopital. Ce travail a aussi été évalué sur d'autres types d'application comme la surveillance du sommeil.
Fichier principal
Vignette du fichier
Guido-PhDThesis.pdf (6.08 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00944617 , version 1 (10-02-2014)

Identifiants

  • HAL Id : tel-00944617 , version 1

Citer

Guido Thomas Pusiol. Discovery of human activities in video. Artificial Intelligence [cs.AI]. Université Nice Sophia Antipolis, 2012. English. ⟨NNT : ⟩. ⟨tel-00944617⟩

Collections

INRIA INRIA2
313 Consultations
600 Téléchargements

Partager

Gmail Facebook X LinkedIn More