Hand gesture and action recognition, combining computer vision and augmented reality technologies
Reconnaissance de gestes et d’actions de la main, combinant vision par ordinateur et technologies de réalité augmentée
Résumé
Hand gestures are the most natural and intuitive non-verbal communication medium while using a computer, and related research efforts have recently boosted interest. Additionally, the analysis and the interpretation of human behavior from visual input is one of the trendiest computer vision fields of research. To contribute to this field of research, our work revolves around the technology of machine learning, particularly around deep learning. Recently, deep neural networks have proven their outstanding effectiveness in many areas of research and they allowed researchers to make a significant jump in robustness and efficiency to solve the problem of hand gestures and actions recognition. The main goal of this thesis is to propose an assistance system to the user during activities oriented towards very specific objectives, for example as medical with assisted surgery or self-rehabilitation, or in automobile industry as advanced assistance to driver. The system should also be develop so the user could interact with it in an intuitive and discrest way. Hence, this system will observe the hands of the user and will generate contextual comments according to the integrated gesture recognition system. This thesis then combines research techniques in computer vision on the recognition of gestures and manipulation of objects by the user, and augmented reality to propose a corrective intervention tool. For that, our works explore a recent architecture of neural network named Capsule Network, whose use has not yet been explored in hand gestures and actions recognition but which has already shown promising results in other areas. A database extract with the help of the Microsoft HoloLens augmented reality device for the problem of action recognition focused towards piano instrument learning and for purely application purposes is also proposed as well as some experimentations to prove that the dataset can be use to train an algorithm but also to still prove the efficiency of our neural network.
Les gestes de la main constituent le médium de communication non verbal le plus naturel et intuitif pour utiliser un ordinateur, et les efforts de recherche relatifs en ont récemment stimulé l'intérêt. De sucroît, l'analyse et l'interprétation du comportement humain à partir de signaux visuels est l'un des domaines les plus animés et recherchés de la vision par ordinateur. Afin de contribuer à ce champ de recherche, notre travail s'articule autour de la technologie de l'apprentissage automatique, plus particulièrement autour de l'apprentissage profond. Depuis peu, les réseaux de neurones profonds ont récemment prouvé leur remarquable efficacité dans de nombreux domaines de recherche et ont ainsi permis aux chercheurs de faire de considérables avancées en terme d'efficacité et de robustesse pour résoudre le problème de reconnaissance de gestes et d'actions de la main.Le principal objectif de cette thèse est de proposer un système d'assistance à l'utilisateur durant des activités orientées vers des objectifs précis, par exemple médical avec un assistant d'opérations ou d'auto-rééducation, ou encore dans l'industrie automobile avec un système d'assistance avancée pour la conduite, le tout sous la forme la plus intuitive et discrète possible. Ainsi, ce système observera les mains de l'utilisateur pour générer des commentaires contextuels en rapport avec le système de reconnaissance de gestes intégré. Cette thèse combine donc des techniques des domaines de recherche de la vision par ordinateur, avec la reconnaissance de gestes et les objets manipulés par l'utilisateur, et de réalité augmentée pour proposer un outil d'intervention et de correction. Pour cela, ces travaux explorent la récente architecture de réseau neuronal nommée Capsule Network qui n'a encore jamais été utilisée dans un problème de reconnaissance de gestes malgré la proposition de résultats prometteurs dans d'autres domaines. Une base de donnée extraite à l'aide du casque de réalité augmentée Microsoft HoloLens pour le problème de reconnaissance d'actions orientée vers l'apprentissage du piano et à des fins purement applicatives est aussi proposée, ainsi que des expérimentations pour prouver qu'il est possible d'entraîner une méthode dessus ainsi que pour continuer à démontrer l'efficacité de notre architecture neuronale.
| Origine | Version validée par le jury (STAR) |
|---|