Contributions to audio source separation and content description
Contributions à la séparation de sources et à la description des contenus audio
Résumé
Audio data occupy a central position in our life, whether it is for spoken communication, personal videos, radio and television, music, cinema, video games, or live entertainment. This raises a range of application needs from signal enhancement to information retrieval, including content repurposing and interactive manipulation. Real-world audio data exhibit a complex structure due to the superposition of several sound sources and the coexistence of several layers of information. For instance, speech recordings often include concurrent speakers or background noise and they carry information about the speaker identity, the language and the topic of the discussion, the uttered text, the intonation and the acoustic environment. Music recordings also typically consist of several musical instruments or voices and they carry information about the composer, the temporal organization of music, the underlying score, the interpretation of the performer and the acoustic environment. When I started my PhD in 2001, the separation of the source signals in a given recording was considered as one of the greatest challenges towards successful application to real-world data of audio processing techniques originally designed for single-source data. Fixed or adaptive beamforming techniques for target signal enhancement were already established, but they required a large number of microphones which is rarely available in practice. Blind source separation techniques designed for a smaller number of microphones had just started to be applied to audio. Eleven years later, much progress has been made and source separation has become a mature topic. Thanks in particular to some of the contributions listed in this document, the METISS team has gained a leading reputation in the field, as exemplified by a growing number of technology transfer collaborations aiming to enhance and remix speech and music signals in various use cases. The use of source separation as a pre-processing step for the description of individual speech or music sources within a mixture raises the additional challenge of efficiently dealing with nonlinear distortions over the estimated source signals. Robust methods interfacing source separation, feature extraction and classification have emerged in the last ten years based on the idea of uncertainty propagation. This topic was part of my research program when I joined Inria in 2006 and it is currently undergoing major growth due to the ubiquity of speech applications for hand-held devices. Current methods have not yet reached the robustness of the human auditory system, though, and speech or speaker recognition in real-world non-stationary noise environments remains a very challenging problem. By comparison with the above two challenges, joint processing of the multiple layers of information underlying audio signals has attracted less interest to date. It remains however a fundamental problem for music processing in particular, where tasks such as polyphonic pitch transcription and chord identification are typically performed independently of each other without accounting for the strong links between pitch and chord information. My work has been focusing on these three challenges and is based in particular on the theoretical foundations of Bayesian modeling and estimation on the one hand and sparse modeling and convex optimization on the other hand. This document provides an overview of my contributions since the end of my PhD along four axes: Chapter 1 is devoted to the formalization and diagnostic assessment of certain studied problems, Chapter 2 to linear modeling of audio signals and to some associated algorithms, Chapter 3 to variance modeling of audio signals and to some associated algorithms, and Chapter 4 to the description of multisource and multilayer contents. Chapter 5 summarizes the research perspectives arising from this work.
Les données audio occupent une position centrale dans notre vie, que ce soit pour la communication parlée, les vidéos personnelles, la radio et la télévision, la musique, le cinéma, les jeux vidéos ou les divertissements. Cela crée un ensemble de besoins applicatifs allant du rehaussement du signal à l'extraction d'information, en passant par la réditorialisation et la manipulation interactive des contenus. Les données audio réelles ont une structure complexe due à la superposition de plusieurs sources sonores et à la coexistence de plusieurs niveaux d'information. Par exemple, les enregistrements de parole incluent souvent des locuteurs simultanés ou du bruit de fond et ils portent des informations sur l'identité des locuteurs, la langue et le sujet de la discussion, le texte prononcé, l'intonation et l'environnement acoustique. Les enregistrements de musique sont aussi typiquement constitués de plusieurs instruments musicaux ou voix et ils contiennent des informations sur le compositeur, l'organisation temporelle des morceaux, la partition sous-jacente, l'interprétation et l'environnement acoustique. Lorsque j'ai commencé mes études de doctorat de 2001, la séparation des signaux sources dans un enregistrement était considérée comme l'un des grands défis vers l'application des techniques de traitement du signal audio initialement conçues pour des sources seules à des données réelles multi-sources. Les techniques de formation de voies fixe ou adaptative étaient déjà établies, mais elles demandaient un grand nombre de microphones rarement disponible en pratique. Les premières techniques de séparation aveugle de sources conçues pour un nombre plus faible de microphones venaient à peine d'être appliquées à l'audio. Onze ans plus tard, des progrès importants ont été faits et la séparation de sources est devenue un sujet mûr. Grâce en particulier à certaines des contributions listées dans ce document, l'équipe METISS a acquis une réputation de leader dans le domaine, démontrée par un nombre croissant de transferts technologiques visant à rehausser et remixer des signaux de parole et de voix dans divers cas d'usage. L'utilisation de la séparation de sources comme un pré-traitement pour la description de sources de parole ou de musique au sein d'un mélange soulève le défi supplémentaire de prendre en compte les distorsions non-linéaires sur les signaux sources estimés. Des méthodes robustes d'interfaçage de la séparation de sources, de l'extraction de descripteurs et de classification ont émergé dans les dix dernières années basées sur l'idée de propagation de l'incertitude. Ce sujet faisait partie de mon programme de recherche lorsque j'ai rejoint Inria en 2006 et il est actuellement en forte croissance en raison de l'omniprésence des applications vocales pour les appareils portables. Les méthodes actuelles n'ont cependant pas encore atteint la robustesse du système auditif humain, et la reconnaissance de la parole ou du locuteur dans des environnements réels avec du bruit non-stationnaire reste un problème très difficile. Par rapport aux deux défis ci-dessus, le traitement conjoint des différents niveaux d'information sous-jacents aux signaux audio a attiré un intérêt moindre à ce jour. Il demeure cependant un problème fondamental pour le traitement de la musique en particulier, où des tâches telles que la transcription de hauteurs polyphonique et l'identification d'accords sont typiquement effectuées indépendamment l'une de l'autre sans prendre en compte les fortes dépendances entre les informations de hauteur et d'harmonie. Mon travail s'est focalisé sur ces trois défis et il est basé en particulier sur les fondements théoriques de la modélisation et de l'estimation bayésienne d'une part et de la modélisation parcimonieuse et de l'optimisation convexe d'autre part. Ce document fournit une vue d'ensemble de mes contributions depuis la fin de mon doctorat selon quatre axes: le Chapitre 1 se focalise sur la formalisation et l'évaluation diagnostique de certains problèmes étudiés, le Chapitre 2 sur la modélisation linéaire des signaux audio et les algorithmes associés, le Chapitre 3 sur la modélisation de variance des signaux audio et les algorithmes associés, et le Chapitre 4 sur la description des contenus multi-sources et multi-niveaux. Le chapitre 5 résume les perspectives de recherche issues de ce travail.