Suivi tridimensionnel de la main et reconnaissance de gestes pour les Interfaces Homme Machine - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2008

Three-dimensional hand tracking and gesture recognition for human-computer interaction

Suivi tridimensionnel de la main et reconnaissance de gestes pour les Interfaces Homme Machine

Simon Conseil
  • Fonction : Auteur
  • PersonId : 852549

Résumé

Automatic interpretation of gestures based on computer vision provides new possibilities of interaction with computers, more natural and intuitive than with classic devices. However, the gestural channel is a particularly rich means of communication and the hand is a complex articulated object. Thus, gesture-based human-computer interaction represents a particularly active research axis with an important potential of application.
In this context, our work consisted in replacing the mechanism of a tactile screen by a system based on stereoscopic vision with two video cameras. Thus, the central issue consisted in tracking in real-time the movement of the hand and the fingers based on their projections on images, and in recognizing the posture. The industrial constraints which guided our work lead us to an appearance-based approach, with reduced hypothesis so that the system is little restrictive for the user. The different steps we address concern hand detection based on skin color, extraction of invariant features, comparison of shape descriptors for 2D posture recognition, and 3D finger and hand tracking with a skeleton model. The performances of the algorithms was evaluated with an original database of stereoscopic video sequences, showing the noticeable improvement of the proposed solutions. The system's robustness was confronted to real conditions with a public demonstration.
L'interprétation automatique de gestes basée sur la vision par ordinateur offre de nouvelles possibilités d'interaction avec l'ordinateur, plus naturelles et intuitives qu'avec les périphériques classiques. Cependant, le canal gestuel est un moyen de communication particulièrement riche et la main un objet articulé complexe. Ainsi, l'interaction homme-machine gestuelle constitue un axe de recherche particulièrement actif avec un potentiel applicatif important.
Dans ce contexte, notre travail a consisté à remplacer le fonctionnement d'un écran tactile par un système de vision stéréoscopique avec deux caméras. Ainsi, le problème fondamental a consisté à suivre, en temps réel, le mouvement de la main et des doigts à partir de leurs projections dans les images, avant d'en reconnaître la posture. Les contraintes industrielles qui ont guidé nos travaux nous ont orienté vers une approche par apparence, avec des hypothèses réduites afin que le système soit peu contraignant pour l'utilisateur. Les différentes étapes abordées concernent la détection de la main basée sur la couleur de peau, l'extraction de caractéristiques invariantes, la comparaison de descripteurs de forme pour la reconnaissance de postures 2D, et le suivi 3D du mouvement des doigts et de la main avec un modèle squelettique. Les algorithmes ont été évalués à l'aide d'une base originale de vidéos stéréoscopiques, montrant l'amélioration notable des solutions proposées. La robustesse du système a également été confrontée aux conditions réelles d'une démonstration publique.
Fichier principal
Vignette du fichier
These_Simon-Conseil.pdf (2.67 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00307197 , version 1 (29-07-2008)

Identifiants

  • HAL Id : tel-00307197 , version 1

Citer

Simon Conseil. Suivi tridimensionnel de la main et reconnaissance de gestes pour les Interfaces Homme Machine. Interface homme-machine [cs.HC]. Université Paul Cézanne - Aix-Marseille III, 2008. Français. ⟨NNT : ⟩. ⟨tel-00307197⟩
514 Consultations
4109 Téléchargements

Partager

Gmail Facebook X LinkedIn More