Models, Analysis and Execution of Audio Graphs in Interactive Multimedia Systems
Modélisation, analyse et éxécution de graphes audio dans les systèmes interactifs multimédia
Résumé
Interactive Multimedia Systems (IMSs) are used in concert for interactive performances, which combine in real time acoustic instruments, electronic instruments, data from various sensors (gestures, midi interface, etc.) and the control of different media (video, light, etc.). This thesis presents a formal model of audio graphs, via a type system and a denotational semantics, with multirate timestamped bufferized data streams that make it possible to represent with more or less precision the interleaving of the control (for example a low frequency oscillator, velocities from an accelerometer) and audio processing in an MIS. An audio extension of Antescofo, an IMS that acts as a score follower and includes a dedicated synchronous timed language, has motivated the development of this model. This extension makes it possible to connect Faust effects and native effects on the fly safely. The approach has been validated on a mixed music piece and an example of audio and video interactions. At last, this thesis proposes offline optimizations based on the automatic resampling of parts of an audio graph to be executed. A quality and execution time model in the graph has been defined. Its experimental study was carried out using a prototype IMS based on the automatic generation of audio graphs, which has also made it possible to characterize resampling strategies proposed for the online case in real time.
Les Systèmes Interactifs Multimédia (SIM) sont utilisés en concert pour des spectacles interactifs, qui mêlent en temps-réel instruments acoustiques, instruments électroniques, des données issues de divers capteurs (gestes, interface midi, etc) et le contrôle de différents média (vidéo, lumière, etc). Cette thèse présente un modèle formel de graphe audio, via un système de types et une sémantique dénotationnelle, avec des flux de données bufferisés datés multipériodiques qui permettent de représenter avec plus ou moins de précisions l'entrelacement du contrôle (par exemple un oscillateur basse fréquence, des vitesses issues d’un accéléromètre) et des traitements audio dans un SIM. Une extension audio d’Antescofo, un SIM qui fait office de suiveur de partition et qui comporte un langage synchrone temporisé dédié, a motivé le développement de ce modèle. Cette extension permet de connecter des effets Faust et des effets natifs, à la volée, de façon sure. L’approche a été validée sur une pièce de musique mixte et un exemple d'interactions audio et vidéo. Enfin, cette thèse propose des optimisations hors-ligne à partir du rééchantillonnage automatique de parties d'un graphe audio à exécuter. Un modèle de qualité et de temps d'exécution dans le graphe a été défini. Son étude expérimentale a été réalisée grâce à un SIM prototype à partir de la génération automatique de graphes audio, ce qui a permis aussi de caractériser des stratégies de rééchantillonnage proposées pour le cas en ligne en temps-réel.
Origine | Version validée par le jury (STAR) |
---|