Structured Interactive Scores: From a simple description of an interactive scenario to a real-time capable implementation with formal semantics - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2012

Structured Interactive Scores: From a simple description of an interactive scenario to a real-time capable implementation with formal semantics

Résumé

Technology has shaped the way on which we compose and produce music: Notably, the invention of microphones and computers pushed the development of new music styles in the 20th century. In fact, several artistic domains have been benefiting from such technology developments; for instance, Experimental music, non-linear multimedia, Electroacoustic music, and interactive multimedia. In this dissertation, we focus on interactive multimedia. Interactive multimedia deals with the design of scenarios where multimedia content and interactive events are handled by computer programs. Examples of such scenarios are multimedia art installations, interactive museum exhibitions, some Electroacoustic music pieces, and some Experimental music pieces. Unfortunately, most interactive multimedia scenarios are based on informal specifications, thus it is not possible to formally verify properties of such systems. We advocate the need of a general and formal model. Interactive scores is a formalism to describe interactive multimedia scenarios. We propose new semantics for interactive scores based on timed event structures. With such a semantics, we can specify properties for the system, in particular, properties about traces, which are difficult to specify as constraints. In fact, constraints are an important part of the semantic model of interactive scores because the formalism is based on temporal constraints among the objects of the scenario. We also present an operational semantics of interactive scores based on the non-deterministic timed concurrent constraint (ntcc) calculus and we relate such a semantics to the timed event structures semantics. With the operational semantics, we formally describe the behavior of a score whose temporal object durations can be arbitrary integer intervals. The operational semantics is obtained from the timed event structures semantics of the score. To provide such a translation, we first define the normal form of a timed event structure in which events related with zero-duration delays are collapsed into a single one. We also define the notion of dispatchable timed event structures: Event structures such that its constraint graph can be dispatched by relying only on local propagation. We believe that operational semantics in ntcc offers some advantages over existing Petri nets semantics for interactive scores; for instance, the duration of the temporal objects can be arbitrary integer intervals, whereas in previous models of interactive scores, such durations can only be intervals to represent equalities and inequalities. In this dissertation, we also introduce two extensions of the formalism of interactive scores: (1) one to handle audio processing using the Fast AUdio Stream (Faust) language and (2) another one to handle conditional branching, allowing designers to specify choices and loops. For the first extension, we present a timed event structures semantics and ideas on how to define operational semantics. For the second extension, we present an implementation and results comparing the average relative jitter of an implementation of an arpeggio based on Karplus-Strong with respect to existing implementations of Karplus written in Pure Data. We also define a XML file format for interactive scores and for the conditional branching extension. A file format is crucial to assure the persistence of the scores. Ntcc models of interactive scores are executed using Ntccrt, a real-time capable interpreter for ntcc. They can also be verified automatically using ntccMC, a bounded-time automata based model checker for ntcc which we introduce in this dissertation. Using ntccMC, we can verify properties expressed on constraint linear-time logic. Ntcc has been used in the past, not only for multimedia interaction models, but also for system biology, security protocols and robots. We argue that simulation and verification tools for ntcc are useful for interactive score and they are also useful for applications in other domains.
La plupart des sc\'{e}narios multimédia interactifs sont bas\'{e}s sur des sp\'{e}cifications informelles, il n'est donc pas possible de v\'{e}rifier formellement des propri\'{e}t\'{e}s de ces syst\'{e}mes. Nous pr\'{e}conisons la n\'{e}cessit\'{e} d'un mod\'{e}le g\'{e}n\'{e}ral et formel. Partitions interactives est un formalisme pour d\'{e}crire des sc\'{e}narios multim\'{e}dia interactifs. Nous proposons une nouvelle s\'{e}mantique pour les partitions interactives bas\'{e}e sur les structures d'\'{e}v\'{e}nements temporisés. Avec une telle s\'{e}mantique, nous pouvons sp\'{e}cifier des propri\'{e}t\'{e}s pour le syst\'{e}me, en particulier, des propri\'{e}t\'{e}s sur les traces, qui sont difficiles \'{a} pr\'{e}ciser avec la programmation par contraintes. Nous pr\'{e}sentons \'{e}galement une s\'{e}mantique op\'{e}rationnelle des partitions interactives bas\'{e}e sur le calcul non-d\'{e}terministe, temporis\'{e}, concurrent, par contraintes (ntcc) et nous rapportons la s\'{e}mantique operationelle \'{a} la semantique en structures d'\'{e}v\'{e}nements temporisés. Avec la s\'{e}mantique op\'{e}rationnelle, nous pouvons d\'{e}crire formellement le comportement d'un scenario dont les dur\'{e}es des objets temporels peuvent \^{e}tre des intervalles d'entiers arbitraires. La s\'{e}mantique op\'{e}rationnelle est obtenue \'{a} partir de la s\'{e}mantique en structures d'\'{e}v\'{e}nements temporisés de la partition interactive. Pour fournir une telle traduction, nous avons d'abord d\'{e}fini la forme normale d'une structure d'\'{e}v\'{e}nements temporisés, dans laquel les \'{e}v\'{e}nements li\'{e}s avec une dur\'{e}e z\'{e}ro sont regroup\'{e}s en un seul. Nous avons \'{e}galement d\'{e}fini la notion de structures d'\'{e}v\'{e}nements temporisés r\'{e}partissables, de telle sorte que son graphe de contraintes peut \^{e}tre exp\'{e}di\'{e} en se fondant uniquement sur la propagation locale. Nous croyons que la s\'{e}mantique op\'{e}rationnelle bas\'{e}e sur ntcc offre certains avantages par rapport \'{a} la s\'{e}mantique des partitions interactives bas\'{e}e sur des r\'{e}seaux de Petri; par exemple, les dur\'{e}es des objets temporels peuvent \^{e}tre des intervalles d'entiers arbitraires, tandis que dans la plupart des mod\'{e}les de partitions interactives, les intervalles ne peut \^{e}tre utilis\'{e}s que pour repr\'{e}senter les relations telles que l'\'{e}galit\'{e} et les inégalités. Nos mod\'{e}les ntcc de partitions interactives sont ex\'{e}cut\'{e}s en utilisant Ntccrt, un interpr\'{e}te temps r\'{e}el pour ntcc. Nos mod\'{e}les peuvent \'{e}galement \^{e}tre v\'{e}rifi\'{e}s automatiquement en utilisant ntccMC, un verificateur pour ntcc, de temps born\'{e}, bas\'{e}e sur les automates finis, que nous introduisons dans cette th\'{e}se. En utilisant ntccMC, nous pouvons v\'{e}rifier des propri\'{e}t\'{e}s de logique de temps lin\'{e}aire avec des contrantes (CLTL). Dans cette th\'{e}se, nous introduisons deux extensions du formalisme de partitions interactives: (1) l'une pour g\'{e}rer le traitement audio en utilisant le langage de programmation fran\c cais Faust et (2) l'autre pour traiter des condition et des branchements, permettant de sp\'{e}cifier des choix et des boucles. Pour la premi\'{e}re extension, nous pr\'{e}sentons une s\'{e}mantique bas\'{e}e sur les structures d'\'{e}v\'{e}nements temporisés et des id\'{e}es sur la fa\c con de d\'{e}finir une s\'{e}mantique op\'{e}rationnelle. Pour la deuxi\'{e}me extension, nous pr\'{e}sentons une mise en \oe uvre et la comparaison des r\'{e}sultats du jitter relative moyenne d'une impl\'{e}mentation d'un arp\'{e}ge base sur l'algorithme de Karplus-Strong par rapport aux impl\'{e}mentations existants \'{e}crits dans Pure Data. Nous d\'{e}finissons aussi un format de sauvegarde XML pour les partitions interactives et pour la extension avec branchement conditionnel. Un format de sauvegarde est crucial pour assurer la persistance des partitions.
Fichier principal
Vignette du fichier
phdToro.pdf (4.11 Mo) Télécharger le fichier
toro-phd-defense-light.pdf (3.8 Mo) Télécharger le fichier
Format Autre
Loading...

Dates et versions

tel-00736021 , version 1 (27-09-2012)

Identifiants

  • HAL Id : tel-00736021 , version 1

Citer

Toro Mauricio. Structured Interactive Scores: From a simple description of an interactive scenario to a real-time capable implementation with formal semantics. Son [cs.SD]. Université Sciences et Technologies - Bordeaux I, 2012. Français. ⟨NNT : ⟩. ⟨tel-00736021⟩

Collections

AFIM
231 Consultations
2970 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More