Learning and simulation of sport strategies (boxing) for virtual reality training
Apprentissage et stimulation des stratégies de sport (boxe) pour l'entraînement en réalité virtuelle
Résumé
This thesis investigates the extraction and simulation of fighter interactions, mainly for boxing, by utilizing deep learning techniques: human motion estimation from videos, reinforcement learning-based imitation learning, and physics-based character simulation. In the context of sport analysis from videos, a benchmark protocol is proposed where various contemporary 2D human pose extraction methods are evaluated for their precision in deriving positional information from RGB video recordings of boxers during complex movements and unfavorable filming circumstances. In a second part, the thesis focuses on replicating realistic fighter interactions given motion and interaction data through an innovative methodology for imitating interactions and motions among multiple physically simulated characters derived from unorganized motion capture data. Initially, this technique was demonstrated for simulating light shadow-boxing between two fighters without significant physical contact. Subsequently, it was expanded to accommodate additional interaction data featuring boxing with actual physical contact and other combat activities, along with handling user instructions and interaction restrictions.
Cette thèse étudie l’extraction et la simulation des interactions entre combattants, principalement pour la boxe, en utilisant des techniques d’apprentissage profond : l’estimation du mouvement humain à partir de vidéos, l’apprentissage par imitation basé sur l’apprentissage par renforcement, et la simulation de personnages basée sur la physique. Dans le contexte de l’analyse sportive à partir de vidéos, un protocole de référence est proposé dans lequel diverses méthodes contemporaines d’extraction de poses humaines en 2D sont évaluées pour leur précision à dériver des informations positionnelles à partir d’enregistrements vidéo RVB de boxeurs lors de mouvements complexes et dans des circonstances de tournage défavorables. Dans une deuxième partie, la thèse se concentre sur la reproduction d’interactions réalistes entre boxeurs à partir de données de mouvement et d’interaction grâce à une méthodologie innovante permettant d’imiter les interactions et les mouvements de plusieurs personnages simulés physiquement à partir de données de capture de mouvement non organisées. Initialement, cette technique a été démontrée pour simuler une boxe légère entre deux combattants sans contact physique significatif. Par la suite, elle a été étendue pour prendre en compte des données d’interaction supplémentaires concernant la boxe avec du contact physique réel et d’autres activités de combat, ainsi que pour gérer les instructions de l’utilisateur et les restrictions d’interaction.
| Origine | Version validée par le jury (STAR) |
|---|