The Musical Score: a challenging goal for automatic music transcription
La partition musicale : un objectif ambitieux pour la transcription automatique de la musique
Résumé
A musical score is a complex semiotic object that excels at conveying musical information in a human readable format. Nowadays, a lot of music is available exclusively as recorded performances, so systems which can automatically transform those performances into musical scores would be extremely beneficial for performers and musicologists. This task, called automatic music transcription (AMT), comprises a large number of subtasks which generically transform the performance input into higher level representations, such as unquantized and quantized MIDI files. Despite the score being the ultimate goal, most of the approaches in the literature stop short of such an output, and only consider simpler representations. Indeed, the handling of musical scores notably constitutes a great challenge for automatic approaches. We believe that a clear model of the information contained in a musical score would help the development and the evaluation of such “full” AMT systems. In particular we advocate for a clear separation between the music which the score encodes (i.e., the musical content) and the set of notation symbols which is employed to represent it (i.e., the score engraving).
Our main contributions in this thesis are presented in four parts: the first details a dedicated model for AMT and related tasks. The second describes a system for monophonic MIDI performance parsing, which jointly performs note quantization and metrical alignment, to build the musical content level of the score. The third part focuses on the graphical symbols in the score, with a tool which computes and displays the differences at graphical level between two musical scores. Finally, we present a new dataset of annotated classical music performances aligned with musical scores; to speed up the tedious task of manual annotation, we employ a semi-automatic workflow which relies on the information in the musical content of the score.
Les partitions musicales sont des artefacts d'une grande complexité sémiotique visant à transmettre toutes les informations relatives à la structure et au contenu d'une œuvre musicale de manière compacte, lisible et cohérente. De nos jours, la musique est la plupart du temps diffusée sous forme enregistrée. Un système capable de transformer automatiquement une interprétation musicale en partition serait donc extrêmement bénéfique pour les interprètes et les musicologues. Cette tâche, appelée "automatic music transcription" (AMT), comprend plusieurs sous-tâches qui impliquent notamment la transformation de représentations intermédiaires comme le MIDI, quantifié ou non. Bien que la partition soit le but final de ces transformations, la plupart des approches de la littérature s'arrêtent au stade des documents MIDI. En effet, la production au stade final d'une partition musicale constitue un défi important et difficilement automatisable. Nous défendons dans cette thèse l'idée qu'un modèle robuste et bien structuré des informations contenues dans une partition musicale aiderait au développement et à l'évaluation de tels systèmes AMT dits "complets". En particulier, nous préconisons une séparation claire entre le contenu musical encodé dans la partition et l'ensemble des signes et des règles de notation utilisés pour représenter graphiquement ce contenu.
Nos contributions sont présentées dans cette thèse en quatre parties: la première détaille un modèle de données dédié à l'AMT et aux tâches connexes. La seconde décrit un système d'analyse d'une interprétation musicale encodée en MIDI monophonique, qui effectue conjointement la quantification des notes et l'alignement métrique pour construire le contenu musical de la partition. La troisième partie se concentre sur les symboles graphiques de la partition, avec un outil qui calcule et affiche les différences au niveau graphique entre deux partitions musicales. Enfin, nous présentons un nouveau jeu de données contenant des interprétations de musique classique, annotées et alignées avec les partitions correspondantes; nous définissons notamment une chaîne de traitements semi-automatique qui s'appuie sur les informations du contenu musical pour accélérer la tâche d'annotation manuelle.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|