Online 3D actions recognition by analyzing the trajectories of human’s skeleton
Reconnaissance en-ligne d’actions 3D par l’analyse des trajectoires du squelette humain
Abstract
The objective of this thesis is to design
an original transparent approach able to detect in real
time the occurrence of an action (3D gesture), in an
unsegmented flow and ideally as early as possible.
This work is part of a collaboration between two
IRISA-Inria teams in Rennes, namely Intuidoc and
MimeTIC. By taking advantage of the complementary
expertise of the two research teams, we propose to
reconsider the needs and difficulties encountered to
model, recognize and detect a 3D action by proposing
new solutions in the light of the advances made in
terms of 2D handwriting modeling.
The contributions of this thesis are grouped into
three main parts. In the first part, we propose a new
approach to model and recognize a pre-segmented
action. Indeed, it is first necessary to develop a
representation able to characterize as finely as
possible a given action to facilitate recognition.
In the second part, we introduce an approach to
recognize an action in an unsegmented flow: without
prior knowledge of the beginning or the end of the
action. Finally, in the third part, we extend this last
approach for the early characterization of an action
with very little information (ie the beginning of the
action).
For each of these three issues, we have explicitly
identified the difficulties to be considered in order to
make a complete description of them so that we can
design targeted solutions for each of them. The
experimental results obtained on different
benchmarks of actions attest to the validity of our
approach. In addition, through collaborations that
took place during the thesis, the developed
approaches were deployed in three applications,
including applications in animation and in dynamic
hand gestures recognition.
L’objectif de cette thèse est de concevoir
une approche transparente originale apte à détecter
en temps-réel l’occurrence d’une action (geste 3D),
dans un flot non segmenté et idéalement le plus tôt
possible. Ces travaux s’inscrivent dans une
collaboration entre deux équipes de l’IRISA-Inria de
Rennes, à savoir Intuidoc et MimeTIC. En profitant de
la complémentarité des savoir-faire des deux équipes
de recherche, nous proposons de reconsidérer les
besoins et les difficultés rencontrées pour modéliser,
reconnaître et détecter une action 3D en proposant
de nouvelles solutions à la lumière des avancées
réalisées en termes de modélisation de gestes
manuscrits 2D.
Les contributions de cette thèse sont regroupées en
trois parties principales. Dans la première partie, nous
proposons une nouvelle approche pour modéliser et
reconnaître une action pré-segmentée. En effet, il est
d’abord nécessaire de développer une représentation
à même de caractériser le plus finement possible une
action donnée pour en faciliter la reconnaissance.
Dans la deuxième partie, nous introduisons une
approche permettant de reconnaître une action dans
un flot non segmenté : sans connaissance a priori du
début ni de la fin de l’action. Enfin, dans la
troisième partie, nous étendons cette dernière
approche pour la caractérisation précoce d’une
action avec très peu de d’information (c.-à-d. le
début de l’action).
Pour chacune de ces trois problématiques, nous
avons identifié explicitement les difficultés à
considérer afin d’en effectuer une description
complète pour permettre de concevoir des solutions
ciblées pour chacune d’elles. Les résultats
expérimentaux obtenus sur différents benchmarks
d'actions attestent de la validité de notre démarche.
En outre, à travers des coopérations ayant eu lieu au
cours de la thèse, les approches développées ont
été déployées dans trois applications, dont des
applications en animation et en reconnaissance de
gestes dynamiques de la main
| Origin | Files produced by the author(s) |
|---|
Loading...