Binaural spatialization methods for guidance of the visually impaired for sports activities
Techniques de spatialisation binaurale pour le guidage de sportifs non-voyants
Résumé
In continuity with other work of the binaural community we believe that spatialized sound can be an effective tool for guiding blind people, including for sports practice.A system for binaural audio guidance must be sufficiently accurate and responsive to be able to take into account every movement of the subject. This has led us to the development and implementation of a real-time localization system and a low-latency binaural spatialization software. Finally, we integrated the whole system into an embedded device.The advanced global satellite navigation techniques (augmented and multi-band) are not always available indoor or in urban environments. This is why we have been working on alternative methods of location and real-time tracking for indoor applications. First of all we have developed a robust real-time calibration and lateration method using an Ultra WideBand beacon network using a Kalman filter (UKF). We have also developed an original localization method using an unmodulated continuous wave Doppler radar array. We showed that it is possible to use the amplitude of the Doppler signal to estimate the distance to a moving object. We have then implemented a particle filter to allow real time localization by hybridization of distance data, measurements of radial Doppler velocity augmented by the heading provided by an inertial unit.In the field of acoustics and binaural audio, we have focused on understanding people's abilities to locate and track sound in motion. To do this we conducted experiments using natural and spatialized sounds using a binaural audio engine. These experiments showed that, on the azimuthal plane, spatialized audio stimuli allow for a localization comparable to natural sounds, even with non-individualized and interpolated HRTFs (head-related transfer function). Moreover, we were able to show that even in the azimuthal plane, the stimuli obtained by HRTF convolution are superior to panning (ITD+ILD) both for fixed and moving sounds. Based on the previous work of the team, we have implemented efficient algorithms for the real-time sound spatialization on embedded platforms with limited resources. For an efficient implementation, this real-time approach implied a thorough understanding of the sources of latency whether they are related to head-tracking or to the audio subsystem of modern operating systems.Finally, we used these localization methods and audio techniques to build a guidance device where a sound source continuously precedes the person to indicate the path to follow. It has been designed in collaboration with visually impaired people, in an iterative process and with an approach focused on the user needs. We then carried out guiding experiments with blind people in conjunction with our associative partners, which made it possible to evaluate different control strategies. We have thus been able to confirm that spatialized sound could constitute an effective tool for guiding blind people, without inducing any penalizing cognitive load, for practicing sports such as walking, running or rollerblading in partial autonomy, including the context of performance.
Dans la continuité d’autres travaux de la communauté du son binaural, nous pensons que le son spatialisé peut constituer un outil efficace pour guider des personnes aveugles, y compris pour la pratique sportive.Un système destiné au guidage par audio binaural doit être suffisamment précis et réactif pour pouvoir prendre en compte chaque mouvement du sujet à guider, ce qui a impliqué le développement et la mise en œuvre d’un système de localisation temps réel et d'un logiciel de spatialisation binaural à faible latence. Enfin nous avons intégré l’ensemble dans un dispositif embarqué.Les techniques les plus avancées de navigation globale par satellite (augmenté et multibande) ne sont pas toujours disponibles en intérieur ou en environnement urbain. C’est pourquoi nous avons travaillé sur des méthodes alternatives de localisation et de suivi temps réel pour l’intérieur. Tout d’abord nous avons développé une méthode de calibration et de latération temps réel robuste par réseau de balises Ultra WideBand utilisant un filtre de Kalman (UKF). Nous avons également développé une méthode originale de localisation par réseau de radars Doppler à onde continue non modulée. Nous avons montré qu’il était possible d’utiliser l’amplitude du signal Doppler pour estimer la distance à un objet mobile. Nous avons alors implémenté un filtre particulaire qui permet la localisation en temps réel par hybridation des données de distance, des mesures de vitesse radiale Doppler et du cap fourni par une centrale inertielle.Dans le domaine de l’acoustique et de l’audio binaural, nous avons cherché à mieux comprendre les capacités des personnes à localiser et à suivre un son en mouvement. Pour cela nous avons mené des expériences en utilisant des sons naturels et des sons spatialisés par audio binaural. Nous avons pu montrer, que sur le plan azimutal, les stimuli audio spatialisés permettaient une localisation comparable aux sons naturels, y compris avec les HRTFs (head-related transfer function) non individualisées et interpolées. Par ailleurs, nous avons pu montrer que même sur le plan azimutal, les stimuli obtenus par convolution de HRTFs étaient supérieurs au panning (ITD+ILD) pour les sons fixes et pour les sons en mouvement. En nous appuyant sur les travaux antérieurs de l’équipe, nous avons implémenté des algorithmes efficaces pour la spatialisation sonore temps-réel sur des plateformes embarquées disposant de peu de ressources. Pour une mise en œuvre efficace, cette approche temps-réel a impliqué une compréhension approfondie des sources de latence qu’elles soient liées au head-tracking ou au sous-système audio des systèmes d’exploitation modernes.Finalement nous avons mis en œuvre ces méthodes de localisation et ces techniques audio pour construire un dispositif de guidage où la source sonore précède continuellement la personne pour lui indiquer le chemin à suivre.Il a été conçu en lien avec des personnes déficientes visuelles, dans une démarche itérative et avec une approche centrée sur les besoins utilisateurs. Nous avons alors mené des expériences de guidage avec des personnes aveugles, en lien avec nos partenaires associatifs, qui ont permis d’évaluer différentes stratégies de contrôle. Nous avons ainsi pu confirmer que le son spatialisé pouvait constituer un outil efficace pour guider des personnes aveugles sans induire de charge cognitive pénalisante pour des pratiques sportives comme la marche, la course à pied ou le roller en autonomie partielle, y compris dans un contexte de recherche de performances.
| Origine | Version validée par le jury (STAR) |
|---|