Thèse Année : 2024

Scoring Synchronization Between Movement and Music : A Cost-Effective Approach

Évaluation de la synchronisation entre mouvement et musique : une approche rentable

Hamza Bayd
  • Fonction : Auteur
  • PersonId : 1136238
  • IdHAL : hamza-bayd

Résumé

This thesis investigates the synchronization between musical rhythm and human motion, focusing on sensorimotor synchronization (SMS). The research explores the relationship between rhythmic auditory stimuli and human movements, such as finger tapping, arm swings, and walking. It examines the impact of rhythmic complexity, movement types, and individual factors like musical expertise and physical morphology on synchronization accuracy. Additionally, it presents a cost-effective framework for synchronization analysis using AI-based rhythm extraction, and video motion capture tools. The proposed methodology integrates advanced signal processing techniques to analyze rhythm and movement, supported by real-time data acquisition and synchronization scoring systems. The study’s findings contribute to various fields, including music education, rehabilitation, and interactive technology development, by providing insights into how rhythm influences human movement. Furthermore, this work explores the effects of external perturbations, such as metronome shifts, on synchronization performance in different movement tasks, offering valuable perspectives for future research in both academic and applied contexts.

Cette thèse explore la synchronisation entre le rythme musical et les mouvements humains, en se concentrant sur la synchronisation sensorimotrice (SMS). L’étude analyse la relation entre les stimuli auditifs rythmiques et les mouvements humains, tels que le tapotement des doigts, les balancements des bras et la marche. Elle examine l’impact de la complexité rythmique, des types de mouvements et des facteurs individuels comme l’expertise musicale et la morphologie physique sur la précision de la synchronisation. En outre, un cadre rentable pour l’analyse de la synchronisation est proposé, basé sur des outils d’extraction de rhythm musical et de capture vidéo et de mouvement utilisant l’IA. La méthodologie intègre des techniques avancées de traitement du signal pour analyser le rythme et les mouvements, soutenues par des systèmes d’acquisition de données en temps réel et d’évaluation de la synchronisation. Les résultats de cette recherche apportent des contributions dans divers domaines, y compris l’éducation musicale, la rééducation et le développement de technologies interactives, en fournissant des aperçus sur l’influence du rythme sur le mouvement humain. De plus, cette étude explore les effets des perturbations externes, telles que les décalages de métronome, sur la performance de synchronisation dans différentes tâches de mouvement, offrant des perspectives précieuses pour des recherches futures à la fois académiques et appliquées.

Fichier principal
Vignette du fichier
142499_BAYD_2024_archivage.pdf (87.6 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-05168826 , version 1 (18-07-2025)

Identifiants

  • HAL Id : tel-05168826 , version 1

Citer

Hamza Bayd. Scoring Synchronization Between Movement and Music : A Cost-Effective Approach. Signal and Image Processing. IMT - MINES ALES - IMT - Mines Alès Ecole Mines - Télécom, 2024. English. ⟨NNT : 2024EMAL0012⟩. ⟨tel-05168826⟩
68 Consultations
4 Téléchargements

Partager

  • More