Tout est dans le regard : reconnaissance visuelle du comportement humain en vue subjective - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2013

It's all in your eyes : first-person gaze estimation and analysis for understanding human behavior

Tout est dans le regard : reconnaissance visuelle du comportement humain en vue subjective

Résumé

In this thesis, we focus on understanding human behavior from gaze information. In contrast to static and external camera viewpoint, we adopt a first-person point of view that allows carrying studies centered on humans and their interaction with the environment. To fulfill this goal, we developed a head-mounted eye-tracker and analysis tools for attention recognition during social interactions and for gaze-based first-person activity recognition. In the first part of the thesis, we present a head-mounted binocular eye-tracker from which we infer the subject's gaze. Contrary to infrared systems, our approach works under visible light. Instead of extracting geometric features (e.g. pupil), we propose to use an eye appearance model in order to capture all available eye features. To learn the mapping between eye appearance and point of regard, two regression models are compared: Support Vector Regression and Relevance Vector Regression. Then, we propose a novel approach for attention recognition from first-person vision. The first-person gaze is obtained using our eye-tracker, while the third-person gaze is computed from head pose estimation based on localized multiple kernel regression. Knowing the first- and third-person gaze direction, scores are computed which permit to assign dyadic attention patterns such as mutual gaze, and at the same time, higher-order patterns due to the triadic nature of the experiment. Our final analysis tool involves activity recognition from first-person gaze and egomotion. These motions are quantized according to their direction and their amplitude, and are encoded into a sequence of symbols. Statistical features are then extracted via multi-scale and temporal representation. For joint classification and segmentation of activities, we describe a contextual learning approach built upon confidence values from long-range neighborhood. Additionally, an in-depth study allows highlighting which features are relevant to each activity.
Dans ce manuscrit, nous nous intéressons à l'analyse visuelle du comportement humain à partir de l'information du regard. A l'inverse des caméras statiques et externes, nous adoptons un point de vue subjectif, ce qui permet de placer le contexte d'étude au centre de l'être humain et de ses interactions avec l'environnement. Pour atteindre cet objectif, nous avons développé un eye-tracker porté, ainsi que des outils d'analyse associés, en particulier la reconnaissance d'attention dans le cadre d'interactions sociales et la reconnaissance d'activités subjectives. Dans la première partie de cette thèse, nous présentons un eye-tracker binoculaire tête porté à partir duquel nous estimons le regard du sujet. Contrairement à la plupart des systèmes basés sur l'éclairage infrarouge, notre approche fonctionne en éclairage visible. Pour cela, nous nous inspirons des méthodes basées apparence qui, au lieu, d'extraire des caractéristiques géométriques (par exemple, la pupille), exploitent l'image de l'oeil dans sa globalité et elles permettent donc de prendre en compte toutes les caractéristiques de l'oeil. Pour apprendre la relation entre les caractéristiques d'apparence et les coordonnées du point de regard dans l'image de la caméra scène, deux modèles de régression sont comparés : le Support Vector Regression et le Relevance Vector Regression. Nous proposons, ensuite, une nouvelle méthode de reconnaissance d'attention en vue subjective. Le regard subjectif est obtenu à l'aide de notre eye-tracker, tandis que le regard d'autrui est construit à partir de l'estimation de l'orientation de la tête par régression à noyaux multiples localisés. En combinant ces deux types de regard, nous calculons alors des scores d'attention qui permettent d'identifier des motifs attentionnels dyadiques tels que le regard mutuel, mais aussi des motifs d'ordre supérieur émanant de la nature triadique de notre expérience. Notre outil final d'analyse concerne la reconnaissance d'activités basée sur le regard et l'égo-mouvement. Ces mouvements sont quantifiés en fonction de leur direction et de leur amplitude et encodés sous forme de symboles. Des caractéristiques statistiques sont alors extraites via un codage multi-échelle et un partitionnement temporel. Pour la classification et la segmentation d'activités, nous décrivons une approche par apprentissage contextuel en intégrant des scores de prédiction d'un voisinage à longue portée. Une étude détaillée permet également de comprendre quelles caractéristiques jouent un rôle prédominant dans la représentation d'une activité.
Fichier principal
Vignette du fichier
these_martinez.pdf (5.41 Mo) Télécharger le fichier
slides_martinez.pptx (59.1 Mo) Télécharger le fichier
Format : Autre
Loading...

Dates et versions

tel-01001816 , version 1 (05-06-2014)

Identifiants

  • HAL Id : tel-01001816 , version 1

Citer

Francis Martinez. Tout est dans le regard : reconnaissance visuelle du comportement humain en vue subjective. Vision par ordinateur et reconnaissance de formes [cs.CV]. Université Pierre et Marie Curie - Paris VI, 2013. Français. ⟨NNT : ⟩. ⟨tel-01001816⟩
548 Consultations
3094 Téléchargements

Partager

Gmail Facebook X LinkedIn More