Deep learning for evaluation and feedback when learning gestures
L’Apprentissage Profond pour l’Évaluation et le Retour d’Information lors de l’Apprentissage de Gestes
Résumé
Learning a new sport or manual work is complex. Indeed, many gestures have
to be assimilated in order to reach a good level of skill. However, learning these
gestures cannot be done alone. Indeed, it is necessary to see the gesture execution
with an expert eye in order to indicate corrections for improvement. However,
experts, whether in sports or in manual works, are not always available to analyze
and evaluate a novice’s gesture.
In order to help experts in this task of analysis, it is possible to develop virtual
coaches. Depending on the field, the virtual coach will have more or less skills, but
an evaluation according to precise criteria is always mandatory. Providing feedback
on mistakes is also essential for the learning of a novice.
In this thesis, different solutions for developing the most effective virtual
coaches are proposed.
First of all, and as mentioned above, it is necessary to evaluate the gestures. From
this point of view, a first part consisted in understanding the stakes of automatic
gesture analysis, in order to develop an automatic evaluation algorithm that is as
efficient as possible. Subsequently, two algorithms for automatic quality evaluation
are proposed. These two algorithms, based on deep learning, were then tested on
two different gestures databases in order to evaluate their genericity.
Once the evaluation has been carried out, it is necessary to provide relevant
feedback to the learner on his errors. In order to maintain continuity in the work
carried out, this feedback is also based on neural networks and deep learning.
A method has been developed based on neural network explanability methods. It
allows to go back to the moments of the gestures when errors were made according
to the evaluation model. Finally, coupled with semantic segmentation, this method
makes it possible to indicate to learners which part of the gesture was badly
performed, and to provide them with statistics and a learning curve.
Apprendre un nouveau sport, ou un métier manuel est complexe. En effet, de nombreux gestes doivent être assimiler afin d’atteindre un bon niveau de compétences.
Cependant, l’apprentissage de ces gestes ne peut se faire seul. En effet, il est nécessaire de voir la réalisation du geste d’un œil expert afin d’indiquer les corrections
pour s’améliorer. Or les experts, que ce soit en sport ou dans les métiers manuels,
sont peu disponibles pour analyser et évaluer les gestes d’un novice.
Afin d’aider les experts dans cette tâche d’analyse, il est possible de développer des coachs virtuels. Selon les domaines, le coach va posséder plus ou moins
de compétences, mais une évaluation selon des critères précis est toujours à privilégier. Fournir un retour sur les erreurs commises est également essentiel pour
l’apprentissage d’un novice.
Dans cette thèse, différentes solutions pour développer des coachs virtuels les
plus efficaces possibles sont proposées.
Dans un premier temps, et comme évoqué précédemment, il est nécessaire d’évaluer les gestes. Dans cette optique, un premier travail a consisté à comprendre
les enjeux de l’analyse de gestes automatique, afin de développer un algorithme
d’évaluation automatique qui soit le plus performant possible. Par la suite, deux
algorithmes d’évaluation automatique de la qualité de gestes sont proposés. Ces
deux algorithmes fondés sur l’apprentissage profond, ont par la suite été testés sur
deux bases de données de gestes différentes afin d’évaluer leur généricité.
Une fois l’évaluation réalisée, il est nécessaire de fournir un retour d’information pertinent à l’apprenant sur ses erreurs. Afin de garder une continuité dans
les travaux réalisés, ce retour est également fondés sur les réseaux de neurones et
l’apprentissage profond. En s’inspirant des méthodes d’explicabilité de réseaux de
neurones, une méthode a été développée. Elle permet de remonter aux instants
du gestes où des erreurs ont été commises selon le modèle d’évaluation. Enfin
coupler cette méthode à de la segmentation sémantique, permet d’indiquer aux
apprenants quel partie du geste a été mal réalisée, mais également de lui fournir
des statistiques et une courbe d’apprentissage.
Origine : Fichiers produits par l'(les) auteur(s)