Analyse spectrale à haute résolution et décompositions non-négatives appliquées au traitement des signaux de musique - TEL - Thèses en ligne Accéder directement au contenu
Hdr Année : 2010

High resolution spectral analysis and non-negative decompositions applied to music signal processing

Analyse spectrale à haute résolution et décompositions non-négatives appliquées au traitement des signaux de musique

Résumé

My research works focus on audio and music signal processing. They aim to extract from the signal a representation which reveals its temporal and spectral structures. Various musical applications have been addressed, ranging from automatic transcription of music to source separation and audio coding. An important part of this research has been carried out within the framework of the French ANR DESAM (Decompositions into sound elements and musical applications) project, that I have managed from November 2006 to February 2010. The first part of my research works was initiated within the framework of my Ph.D. thesis, started in September 2001 and defended in April 2005, whose purpose was the application of high resolution spectral analysis methods to audio and music signal processing. We first generalized the underlying signal model and the estimation method, and proposed a new model order selection technique. In other respects, the high number of frequency components and the high spectral dynamics of audio signals have required to develop adequate preprocessing techniques, and their non-stationarity has required to develop adaptive methods in order to track the temporal variations of each component, by using subspace tracking algorithms. These tools have been integrated into the Matlab toolbox of the DESAM project, and applied to the high resolution time-frequency representation of audio signals, to the separation of tonal and noisy components, and to audio synthesis with sound effects. After my Ph.D. thesis, various musical applications of these methods have been carried out in collaboration with researchers and Ph.D. students from French and foreign laboratories: pitch estimation of piano sounds, music beat tracking, analysis of harp's sympathetic modes, and audio coding. Other applications have also been carried out, such as blind channel estimation in digital communications or structured tensors factorization. The second part of my research works has formed a new theme since my Ph.D. thesis, whose various aspects have been addressed with the five Ph.D. students that I jointly supervised. It focuses on the decomposition of audio signals from a spectral or a time-frequency representation, in order to extract sound elements having a musical meaning, such as music notes or chords. The decompositions take different criteria into account: non-negativity of the representation and the sound elements, psycho-acoustic criteria, spectral harmonicity, spectral envelope smoothness, temporal envelope smoothness, temporal variations of the spectral envelope, or temporal variations of the fundamental frequency. They rely on extensions of non-negative matrix factorization, expressed in the framework of Bayesian estimation, which permits to constrain the decomposition by introducing appropriate parametric models, or a priori distributions of the parameters. The decompositions are computed by means of multiplicative algorithms, whose convergence properties have been studied and enhanced, or variants of the expectation-maximization algorithm. These tools have been applied to multiple fundamental frequency estimation and to automatic transcription of music. They have been integrated into the Matlab toolbox of the DESAM project and their evaluation has leaded to the development of the MAPS (MIDI aligned piano sounds) database. They have also been applied to the informed separation of various sound sources mixed in a stereophonic recording.
Mes travaux de recherche portent sur le traitement des sons et de la musique, dont ils visent à extraire une représentation révélant leurs structures temporelles et spectrales. Diverses applications musicales ont été abordées, allant de la transcription automatique de musique à la séparation de sources, en passant par le codage audio. Une partie importante de ces recherches a été menée dans le cadre du projet ANR DESAM (Décompositions en Éléments Sonores et Applications Musicales), que j'ai coordonné de novembre 2006 à février 2010. Analyse spectrale à haute résolution. La première partie de mes travaux a été initiée dans le cadre de ma thèse, démarrée en septembre 2001 et soutenue en avril 2005, dont la finalité a été l'application des méthodes d'analyse spectrale à haute résolution au traitement des signaux audio et musicaux. Nous avons d'abord généralisé le modèle de signal sous-jacent et la méthode d'estimation et proposé une nouvelle technique de sélection de l'ordre du modèle. Par ailleurs, le nombre élevé de composantes fréquentielles et la forte dynamique spectrale des signaux audio ont nécessité de mettre en oeuvre des prétraitements adéquats et leur non-stationnarité a exigé de développer des méthodes adaptatives permettant de suivre les variations temporelles de chaque composante, en utilisant des algorithmes de poursuite de sous-espace. Ces outils ont été intégrés à la boîte à outils Matlab du projet DESAM et appliqués à la représentation temps-fréquence à haute résolution de signaux audio, à la séparation des composantes tonales et bruitées et à la synthèse avec effets sonores. A la suite de ma thèse, diverses applications musicales de ces méthodes ont été réalisées dans le cadre de collaborations avec des chercheurs et doctorants de laboratoires français ou étrangers : estimation de hauteur de notes de piano (thèse de Valentin Emiya à Télécom ParisTech), estimation de tempo musical (thèse de Miguel Alonso à Télécom ParisTech), analyse des modes couplés d'une harpe de concert (thèse de Jean-Loïc Le Carrou au LAUM, Le Mans) et codage audio (projet DESAM, collaboration avec le LMA, Marseille). D'autres applications ont également été réalisées, comme l'estimation de canal dans le domaine des communications numériques (collaboration avec l'université de Mondragón en Espagne) ou la factorisation de tenseurs structurés (collaboration avec le LSS, Gif-sur-Yvette). Décompositions non-négatives. La deuxième partie de mes travaux constitue une thématique nouvelle de- puis ma thèse, dont les différents aspects ont notamment été abordés avec les cinq doctorants que j'ai co-encadrés (Valentin Emiya, Nancy Bertin, Romain Hennequin, Benoît Fuentes et Antoine Liutkus). Elle s'intéresse à la décomposition de signaux audio à partir d'une représentation spectrale ou d'une représentation temps-fréquence, dans le but d'en extraire des éléments sonores possédant un sens musical, comme des notes de musique ou des accords. Ces décompositions prennent en compte différents critères : non-négativité de la représentation et des éléments sonores, critères psycho-acoustiques, harmonicité du spectre, régularité de l'enveloppe spectrale, régularité de l'enveloppe temporelle, variations temporelles de l'enveloppe spectrale, variations temporelles de la fréquence fondamentale. Elles s'appuient sur des extensions de la factorisation en matrices non-négatives, exprimées dans le formalisme de l'estimation bayésienne, qui permet de contraindre la décomposition en introduisant des modèles paramétriques appropriés ou des distributions a priori des paramètres. Les décompositions sont calculées à l'aide d'algorithmes multiplicatifs, dont nous avons étudié et amélioré les propriétés de convergence, ou d'algorithmes de type espérance-maximisation. Ces outils ont été appliqués à l'estimation de fréquences fondamentales multiples et à la transcription automatique de la musique. Ils ont également été intégrés à la boîte à outils Matlab du projet DESAM et leur évaluation a conduit au développement de la base de données MAPS (MIDI aligned piano sounds). Ils ont enfin été appliqués à la séparation informée des différentes sources sonores mixées dans un enregistrement stéréophonique.
Fichier principal
Vignette du fichier
hdr.pdf (4.86 Mo) Télécharger le fichier

Dates et versions

tel-00945245 , version 1 (13-02-2014)

Identifiants

  • HAL Id : tel-00945245 , version 1

Citer

Roland Badeau. Analyse spectrale à haute résolution et décompositions non-négatives appliquées au traitement des signaux de musique. Traitement du signal et de l'image [eess.SP]. Université Pierre et Marie Curie - Paris VI, 2010. ⟨tel-00945245⟩
727 Consultations
912 Téléchargements

Partager

Gmail Facebook X LinkedIn More