Modèles génératifs pour la classification et la séparation de sources sonores en temps-réel - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

Generative models for the classification and separation of real-time sound sources

Modèles génératifs pour la classification et la séparation de sources sonores en temps-réel

Résumé

This thesis is part of the A-Volute company, an audio enhancement softwares editor. It offers a radar that translates multi-channel audio information into visual information in real-time. This radar, although relevant, lacks intelligence because it only analyses the audio stream in terms of energy and not in terms of separate sound sources. The purpose of this thesis is to develop algorithms for classifying and separating sound sources in real time. On the one hand, audio source classification aims to assign a label (e.g. voice) to a monophonic (one label) or polyphonic (several labels) sound. The developed method uses a specific feature, the normalized power spectrum, which is useful in both monophonic and polyphonic cases due to its additive properties of the sound sources. This method uses a generative model that allows to derive a decision rule based on a non-parametric estimation. The real-time constraint is achieved by pre-processing the prototypes with a hierarchical clustering. The results are encouraging on different databases (owned and benchmark), both in terms of accuracy and computation time, especially in the polyphonic case. On the other hand, source separation consists in estimating the sources in terms of signal in a mixture. Two approaches to this purpose were considered in this thesis. The first considers the signals to be found as missing data and estimates them through a generative process and probabilistic modelling. The other approach consists, from sound examples present in a database, in computing optimal transformations of several examples whose combination tends towards the observed mixture. The two proposals are complementary, each having advantages and drawbacks (computation time for the first, interpretability of the result for the second). The experimental results seem promising and allow us to consider interesting research perspectives for each of the proposals.
Cette thèse s’inscrit dans le cadre de l’entreprise A-Volute, éditrice de logiciels d’amélioration d’expérience audio. Elle propose un radar qui transpose l’information sonore multi-canale en information visuelle en temps-réel. Ce radar, bien que pertinent, manque d’intelligence car il analyse uniquement le flux audio en terme d’énergie et non en termes de sources sonores distinctes. Le but de cette thèse est de développer des algorithmes de classification et de séparation de sources sonores en temps-réel. D’une part, la classification de sources sonores a pour but d’attribuer un label (son monophonique) ou plusieurs labels (son polyphonique) à un son. La méthode développée utilise un attribut spécifique, le spectre de puissance normalisé, utile à la fois dans le cas monophonique et polyphonique de par sa propriété d’additivité des sources sonores. Cette méthode utilise un modèle génératif qui permet de dériver une règle de décision basée sur une estimation non paramétrique. Le passage en temps-réel est réalisé grâce à un pré-traitement des prototypes avec une classification hiérarchique ascendante. Les résultats sont encourageants sur différentes bases de données (propriétaire et de comparaison), que ce soit en terme de précision ou de temps de calcul, notamment dans le cas polyphonique. D’autre part, la séparation de sources consiste à estimer les sources en terme de signal dans un mélange. Deux approches de séparation ont été considérées dans la thèse. La première considère les signaux à retrouver comme des données manquantes et à les estimer via un schéma génératif et une modélisation probabiliste. L’autre approche consiste, à partir d’exemples sonores présent dans une base de données, à calculer des transformations optimales de plusieurs exemples dont la combinaison tend vers le mélange observé. Les deux propositions sont complémentaires, avec chacune des avantages et inconvénients (rapidité de calcul pour la première, interprétabilité du résultat pour la deuxième). Les résultats expérimentaux semblent prometteurs et nous permettent d’envisager des perspectives de recherches intéressantes pour chacune des propositions.
Fichier principal
Vignette du fichier
these.pdf (6.79 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-02399081 , version 1 (08-12-2019)

Identifiants

  • HAL Id : tel-02399081 , version 1

Citer

Maxime Baelde. Modèles génératifs pour la classification et la séparation de sources sonores en temps-réel. Méthodologie [stat.ME]. Université de Lille 1, 2019. Français. ⟨NNT : ⟩. ⟨tel-02399081⟩
221 Consultations
195 Téléchargements

Partager

Gmail Facebook X LinkedIn More