Music encoding and deep learning for music transcription and classification based on visually represented audio features - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Music encoding and deep learning for music transcription and classification based on visually represented audio features

Encodage de musique et apprentissage en profondeur pour la transcription et la classification de la musique basées sur des caractéristiques audio représentées visuellement

Résumé

In the past decade, musicians have composed new occidental-style music scores, often encoded in XML-based formats for analysis. However, the oriental genre lacks XML support due to limited digitization interest, resulting in encoding challenges. The rapid growth of deep learning has stimulated the exploration of music applications. This thesis focuses on music genre classification and transcription using Deep Learning. Our efforts include:(1) Introducing MusicPatternOWL, an ontology for structuring knowledge extraction in Eastern music pattern analysis.(2) Developing the MEI2JSON converter to transform MEI-encoded scores into simplified JSON for Artificial Intelligence pre-training.(3) Proposing a pre-processing method for Short Time Fourier Transform (STFT) spectrograms and enhancing a CNN-based music genre classifier to examine deep learning's impact on music streaming services.(4) Presenting CNN-based and CNN-Transformer-based networks for guitar tablature transcription, evaluated against the state-of-the-art networks in the field.
Au cours de la dernière décennie, de nouvelles partitions occidentales ont été régulièrement composées et encodées en XML pour l'analyse. Pour les partitions orientales, l'absence de support XML est due au manque d'intérêt pour la numérisation, entraînant une difficulté d'encodage précis. L'expansion rapide de l'apprentissage profond motive les développeurs et musiciens à explorer ses avantages en musique. Cette thèse se concentre sur la classification musicale et la transcription automatique grâce à l'apprentissage profond. Nos efforts incluent :(1) La proposition de MusicPatternOWL, une ontologie structurant l'extraction de connaissances pour l'analyse de partitions orientales.(2) Le développement du convertisseur MEI2JSON pour transformer les partitions MEI en JSON simplifié en vue du prétraitement de l'Intelligence Artificielle.(3) L'introduction d'une méthode de prétraitement pour les spectrogrammes STFT et l'amélioration d'un classificateur musical CNN, pour évaluer l'impact de l'apprentissage profond sur les services de streaming musical.(4) La présentation de réseaux basés sur CNN et CNN-Transformateur pour la transcription de tablatures de guitare, évalués par rapport aux réseaux de pointe dans le domaine.
Fichier principal
Vignette du fichier
these_A_ELACHKAR_Charbel_2023.pdf (4 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04483299 , version 1 (29-02-2024)

Identifiants

  • HAL Id : tel-04483299 , version 1

Citer

Charbel El Achkar. Music encoding and deep learning for music transcription and classification based on visually represented audio features. Computer Vision and Pattern Recognition [cs.CV]. Université Bourgogne Franche-Comté, 2023. English. ⟨NNT : 2023UBFCD054⟩. ⟨tel-04483299⟩
60 Consultations
19 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More