Methods and tools for the design and evaluation of gesture-based learning situations in virtual environments
Méthodes et outils pour la création et l’évaluation de situations d’apprentissage de gestes en environnements virtuels
Résumé
From any existing Virtual Environment (VE), the main goal of this PhD is to provide models, methods and tools allowing teachers to set up and reuse learning situations dedicated to acquisition and improvement of gestural skills. The proposed contribution considers the observation needs and the practices of the teachers and aims at minimizing the reengineering costs. Moreover, the activities performed by the learners can be automatically evaluated. In the first part of this work, we propose the MEVEL (Motion Evaluation in Virtual Environmentfor Learning) platform allowing the recording, extraction, replay and step decomposition of motions performed by a part of the body or a manipulated object in VE. MEVEL is then able to evaluate the learners’ motions through a comparison process with teachers’ ones (trajectory, respect for the sequence of actions, geometrics and kinematics properties). First, the teacher chooses the object of interest from which the motion must be observed. Then he creates CheckPoints (CP) spatially delimiting the beginning, the end and all the sequential steps of this gesture. MEVEL has been testedby 18 participants in terms of usability, usefulness and exploitation of the underlying concepts, on several tasks (dart throwing, pool shot, and letter writing). In order to integrate the practices of the teachers and their needs in terms of observation, analysis and pedagogical feedbacks, we study the related literature. In the context of gesture learningin VE, this allowed us to identify the main evaluation methods and metrics used, the feedbacks provided to the learners as well as the challenges linked to the reengineering of those VEs. Therefore, we propose a descriptive model representing pedagogical feedbacks dedicated to gesture learning. It was operationalized within the GEFEED system (GEstural Pedagogical FEedbacksEDitor) which allows activating the animation of a virtual artefact (e.g. color of an object, appearanceof a text, triggering of vibration) guiding the learner according to the performed movement. The whole process is end-to-end defined by the teacher through a visual editor from which results can be previewed in VE. An experiment, involving 10 teachers in the context of dilution learning inmicrobiology, gave encouraging results on the model validity, the usability and the usefulness of thesystem. Finally, we conducted an experiment to assess the impact on learning of the virtual aids and guides offered by the dual use of the proposed systems (MEVEL and GEFEED). 45 people divided into three groups (without assistance, with CPs and motion trajectory, with pedagogical feedbacks) have to learn how to perform a dilution operation. The results show that the time used to complete the task improves throughout the trials. Group 3 is the one obtaining better results in terms of gestural skill acquisition. Furthermore, the dilution VE with aids and guides obtained a good usability score from the participants.
À partir de tout Environnement Virtuel (EV) existant, l'objectif principal de cette thèse est de fournir des modèles, méthodes et outils permettant aux enseignants de mettre en place et réutiliser des situations d’apprentissages dédiées à l'acquisition et l'amélioration de compétences gestuelles. La solution proposée prend en compte les besoins d’observations et les pratiques des formateurs et vise à minimiser les coûts de réingénierie. Par ailleurs, les activités réalisées par les apprenants sont évaluables automatiquement. Dans la première partie de cette thèse, nous proposons la plateforme MEVEL (Motion Evaluation in Virtual Environment for Learning) permettant l’enregistrement, l'extraction, le rejeu et la décomposition en étape du mouvement effectué par une partie du corps ou un objet manipulé en EV.MEVEL permet ensuite d'évaluer le mouvement réalisé par l'apprenant en le comparant avec des démonstrations réalisées en amont par l'enseignant (trajectoire, respect de la séquence d'actions, propriétés géométriques et cinématiques). Pour cela, l'enseignant est amené à choisir l'objet d'intérêt dont le mouvement est à observer, puis à créer des points de contrôles (CP) délimitant spatialement le début, la fin et l'ensemble des étapes séquentielles de ce mouvement. MEVEL a été testé par 18participants en termes d’utilisabilité, d’utilité et d'exploitation des concepts sous-jacents, sur plusieurs tâches (lancer de fléchette, le tire au billard, et l'écriture d’une lettre).Dans l'optique d’intégrer les pratiques des enseignants et leurs besoins d’observation, d'analyse et de retours pédagogiques, nous avons mené une étude de la littérature. Cette étude nous a permis d’'identifier, dans le cadre de l’apprentissage de gestes en EV, les principales méthodes et métriques d’évaluation utilisées, les feedbacks (aides et retours) fournis aux apprenants ainsi que les verrous liés à la réingénierie de ces EV. Nous avons proposé en conséquence un modèle descriptif de feedbacks pédagogiques orienté vers l’apprentissage de geste. Il a été opérationnalisé au sein du système GEstural FEedback EDitor (GEFEED) qui permet de déclencher l’animation d'artefacts virtuels (e.g. couleur sur un objet, apparition d'un texte, déclenchement d'une vibration) guidant l'apprenant en fonction des mouvements effectués. L’ensemble du processus est défini de bout en bout par l’enseignant via un éditeur visuel dont le résultat peut être prévisualisé en EV. Une expérimentation, impliquant 10 enseignants dans le contexte d’une situation d'apprentissage de dilution en microbiologie, a donné des premiers résultats encourageants sur la validité du modèle,l’utilisabilité et l’utilité du système. Enfin, nous avons mené une expérimentation de plus grande ampleur afin d’évaluer l’impact sur l’apprentissage des aides et guides virtuels proposés lors de l'utilisation combinée des deux systèmes proposés (MEVEL et GEFEED). Ainsi, 45 personnes réparties sur trois groupes (sans assistance, avec les CPs et la trajectoire des mouvements, avec des feedbacks pédagogiques) avaient pour objectif d'apprendre à réaliser une opération de dilution. Les résultats montrent globalement que le temps utilisé pour réaliser la tâche s'améliore au fil des essais. Le groupe 3 est celui obtenant de meilleurs résultats en termes d'acquisition des compétences gestuelles. Par ailleurs, l'EV de dilution avec les aides et guides proposés a obtenu un bon score d’'utilisabilité auprès des participants.
| Origine | Version validée par le jury (STAR) |
|---|