Multi-purpose acoustic sensor for smart home
Capteur polyvalent acoustique pour l'habitat intelligent
Résumé
Environmental sounds emanate from a variety of sources, such as human and non-human activities, traffic sounds, birds, rain, and sounds produced by human activity in houses, offices, cafes, and numerous others. The automatic classification of these sounds has recently attracted a lot of interest due to its great potential for application in various domains, such as human-machine interaction, smart homes, robotic hearing, automatic activity recognition, automatic surveillance systems, etc. In the case of a smart home, the heterogeneity of the events to be monitored leads to the use of a large number of sensors of different types, which impacts the cost, energy consumption, and complexity of installation and management, as well as on the volume of data to be processed. The objective of this thesis is to demonstrate that the use of ESC (Environmental Sound Classification) provides a solution to the problem of reducing the number and diversity of sensors by replacing all or part of these sensors with acoustic sensors. The feasibility of this solution has been validated by the development of a system, implemented on an edge device composed of a microcontroller (Cortex M4) with a small memory footprint and low power consumption and a microphone, for the automatic recognition in real-time of four environmental sounds (rain, wind, human footsteps, and passing cars). For better algorithm-architecture matching, different feature extraction and selection methods and different machine-learning models are studied and compared. A new feature extraction approach based on the Instantaneous Amplitude (IA) and Frequency (IF) spectrogram has been proposed and compared to the traditional approach using the Mel spectrogram. To overcome the limitations of the traditional approach, related to the fact that environmental sounds signals are multi-component, non-stationary signals from non-linear systems, the construction of the instantaneous amplitude and frequency spectrogram is carried out by Empirical Mode Decomposition (EMD) coupled with the Teager-Kaiser Energy Operator (TKEO). To generate a model for ESC, a database of selected environmental sounds was constructed. The selected learning models are convolutional neural networks (CNN) and depth-wise separable convolutional neural networks (DSCNN), optimized in terms of the number of parameters and features. The feature size reduction and optimization are carried out using a recurrent neural network (RNN) feature selection method. This developed automatic recognition system was evaluated with new signals for real-time classification.
Les sons environnementaux proviennent généralement de sources diverses et variées, telles que l’activité humaine, les objets et la nature. La classification automatique de ces sons suscite récemment un grand intérêt grâce à son grand potentiel d’application dans divers domaines, comme l’interaction home-machine, l’habitat intelligent, l’audition robotique, la reconnaissance automatique d’activités, les systèmes de surveillance automatique, etc. Dans le cas d’un habitat intelligent, L’hétérogénéité des événements à surveiller conduit à l’usage d’un grand nombre de capteurs, de différentes natures, ce qui impacte le coût, la consommation énergétique, la complexité d’installation et de gestion ainsi que l’encombrement et le volume de données à traiter. L’objectif de cette thèse est de démontrer que l’utilisation de la classification automatique des sons environnementaux (ECS pour Environmental Sound Classification en anglais), apporte une solution à cette problématique de réduction du nombre et de la diversité des capteurs en remplaçant tout ou une partie de ces capteurs par des capteurs acoustiques. La faisabilité de cette solution a été validée par le développement d’un système, implémenté sur une carte composée d’un microcontrôleur (Cortex M4) à faible empreinte mémoire et à basse consommation et d’un microphone, pour la reconnaissance automatique en temps réel de quatre sons environnementaux (pluie, vent, pas humain et passage de voiture). Pour une meilleure adéquation algorithme-architecture, différentes méthodes d'extraction et de sélection de caractéristiques et différents modèles d'apprentissage automatique ont été étudiés et comparés. Une nouvelle approche d’extraction de caractéristiques à partir du spectrogramme d’amplitude et de fréquence instantanées (SAFI), a été proposée et comparée à l’approche traditionnelle utilisant le spectrogramme de Mel. Pour s’affranchir des limitations de l’approche traditionnelle, liées au fait que les sons environnementaux sont des signaux multi-composantes, non-stationnaire et issus de systèmes non-linéaires, la construction du spectrogramme d’amplitude et de fréquence instantanées est effectuée par décomposition en modes empiriques (EMD) couplée à l’opérateur d’énergie de Teager-Kaiser (TKEO). Pour générer le modèle d’apprentissage, une base de données de sons environnementaux choisis a été construite. Les modèles d’apprentissage retenus sont les réseaux de neurones convolutifs (CNN) et convolutifs profonds (DSCNN), optimisés en termes du nombre de paramètres et de caractéristiques. Cette optimisation est effectuée grâce à une méthode de sélection de caractéristiques par réseau de neurones récurrent (RNN). Ce système de reconnaissance automatique développé a été évalué avec de nouveaux signaux pour une classification en temps réel.
Mots clés
Domaines
Acoustique [physics.class-ph]| Origine | Version validée par le jury (STAR) |
|---|