Realism in virtually supervised learning for acoustic room characterization and sound source localization
Réalisme dans l’apprentissage virtuellement supervisé pour la caractérisation acoustique des salles et la localisation de sources
Résumé
Audio Augmented Reality aims to integrate virtual audio content into the user'sacoustic environment, creating an immersive audio experience. The commercial availability of augmented reality headsets such as Apple Vision Pro has further motivated interestin this research field. To synthesize binaural spatial audio that can recreate the perception of distance, direction, and acoustic cues, the knowledge of specific acoustic parameters of the user's environment is a prerequisite. Acoustic parameters can be divided into two categories: global parameters associated with the room's geometry, reverberation time, and wall materials, and local parameters concerning the location of each sound source. With the help of room acoustic simulators, these parameters are used to simulate room impulse responses. These room impulse responses can then be convolved with dry speech signals to synthesize binaural spatial audio with a perception of realism. However, the estimation of these acoustic parameters is a challenge. Previous research has attempted to address this problem through cumbersome and time-consuming in-situ measurements, which are often impractical. In this thesis, we tackle this challenge by leveraging supervised machine-learning techniques using speech recordings as input. Our primary focus is on cuboid rooms with static acoustic scenarios. In the initial part of our work, we develop a multi-task neural network for room parameter estimation. We then assess its robustness using real-world data. In the second part, we shift our focus towards virtually supervised learning. This approach involves training machine learning models exclusively on simulated data. The rationale behind this strategy is rooted in the limited availability of task-specific real datasets within this domain. To ensure genralization, the training dataset should closely resemble the scenarios encountered in the test datasets. In order to bridge the gap, we improve realism in the open-source room acoustics simulator Pyroomacoustics by implementing an extended image source method. Further, this improved room acoustics simulator is used to train neural networks for the tasks of room parameter estimation and sound source localization. We employ several real test datasets to assess the positive impact brought by training the systems using the improved simulator. Our experiments show that the generalization of the system is improved across both tasks when compared to the systems trained for the same task with less realistic training data. To the best of our knowledge, this is one of the first studies to explore the field of virtually supervised learning for the task of global and local room acoustic parameter estimation.
La Réalité Augmentée Audio vise à intégrer un contenu audio virtuel dans l'environnement acoustique de l'utilisateur, créant ainsi une expérience audio immersive. La disponibilité commerciale de casques de réalité augmentée tels que l'Apple Vision Pro a encore renforcé l'intérêt pour ce domaine de recherche. Pour synthétiser un son spatial binaural capable de recréer la perception de la distance, de la direction et des indices acoustiques, la connaissance des paramètres acoustiques spécifiques de l'environnement de l'utilisateur est un prérequis. Les paramètres acoustiques se divisent en deux catégories : des paramètres globaux associés à la géométrie de la pièce, au temps de réverbération et aux matériaux des parois, et des paramètres locaux concernent la localisation de chaque source sonore. À l'aide de simulateurs acoustiques, ces paramètres sont utilisés pour simuler des réponses impulsionnelles des salles. Ces réponses impulsionnelles peuvent ensuite être convoluées avec des signaux audio bruts pour synthétiser un son spatial binaural avec une perception de réalisme. Cependant, l'estimation des paramètres acoustiques est un défi. Des recherches antérieures ont tenté de résoudre ce problème grâce à des mesures in-situ laborieuses et chronophages, souvent peu pratiques. Dans cette thèse, nous relevons ce défi en utilisant des techniques d'apprentissage automatique supervisées utilisant des enregistrements de parole en entrée. Notre principal domaine d'application concerne les pièces cuboïdes avec des scénarios acoustiques statiques. Dans la première partie de notre travail, nous développons un réseau de neurones multi-tâches pour l'estimation des paramètres de la salle. Nous évaluons ensuite sa robustesse en utilisant des données réelles. Dans la deuxième partie, nous déplaçons notre attention vers l'apprentissage virtuellement supervisé. Cette approche consiste à entraîner des modèles d'apprentissage automatique exclusivement sur des données simulées. La justification de cette stratégie repose sur la disponibilité limitée de jeux de données réels spécifiques à la tâche dans ce domaine. Pour assurer la généralisation des modèles ainsi appris, l'ensemble d'apprentissage doit ressembler de près aux scénarios rencontrés dans les ensembles de test. Afin de combler cette lacune, nous améliorons le réalisme du simulateur acoustique open-source Pyroomacoustics en y intégrant une extension de la méthode de source image. Nous utilisons, ce simulateur acoustique amélioré pour entraîner des réseaux neuronaux aux tâches d'estimation des paramètres de la salle et de localisation des sources sonores. Nous utilisons plusieurs ensembles de test réels pour évaluer l'impact positif de l'apprentissage à l'aide du simulateur amélioré. Nos expériences montrent que la généralisation est améliorée pour les deux tâches par rapport aux modèles appris pour la même tâche avec des données d'apprentissage moins réalistes. À notre connaissance, il s'agit de l'une des premières études à explorer l'apprentissage virtuellement supervisé pour l'estimation des paramètres acoustiques de salle à la fois globaux et locaux.
| Origine | Version validée par le jury (STAR) |
|---|