Formal Semantics and Automatic Verification of Hierarchical Multimedia Scenarios with Interactive Choices
Sémantique Formelle et Vérification Automatique de Scénarios Hiérarchiques Multimédia avec des Choix Interactifs
Résumé
Interactive multimedia deals with the computer-based design of scenarios consisting of mul- timedia content that interacts with external actions and those of the performer (e.g., multimedia live-performance arts, interactive museum installations, and video games). The multimedia content is structured in a spatial and temporal order according to the author’s requirements. Therefore, the potentially high complexity of these scenarios requires adequate specification languages for their complete description and verification.
Interactive scores is a formalism which has been proposed as a model for composing and per- forming interactive multimedia scenarios. In addition, an inter-media sequencer, called I-SCORE, has been developed following the Petri Net semantics proposed by this formalism. During the last years, I-SCORE has been used successfully for the composition and performance of live performances and interactive exhibitions. Nevertheless, these applications and emergent applications such as video games and interactive museum installations, increasingly demand two features that the current sta- ble version of I-SCORE as well as its underlying model do not support: (1) flexible control structures such as conditionals and loops; and (2) mechanisms for the automatic verification of scenarios.
In this dissertation we present two formal models for composition and automatic verification of multimedia interactive scenarios with interactive choices, i.e., scenarios where the performer or the system can take decisions about their execution state with a certain degree of freedom defined by the composer.
In our first approach, we define a novel programming language called REACTIVEIS. This language extends the full capacity of temporal organization of interactive scenarios by allowing the composer to use a defined logical system for the specification of the starting and stopping conditions of temporal objects (TOs). REACTIVEIS programs are formally defined as tree-like structures representing the hierarchical aspect of interactive scenarios and whose nodes contain the conditions needed to start and stop the TOs. Moreover, we define an operational semantics based on labeled trees, containing in their nodes, the information about the start and stop times of each TO. We show that this operational semantics offers an intuitive yet precise description of the behavior of interactive scenarios.
We also endowed REACTIVEIS with a declarative interpretation as formulas in Intuitionistic Linear Logic with Subexponentials (SELL). We shall show that such interpretation is adequate: derivations in the logic correspond to traces of the program and vice-versa. Hence, we can use all the meta-theory of Intuitionistic Linear Logic (ILL) to reason about interactive scenarios and develop tools for the verification and analysis of interactive scenarios.
In our second approach, we present a Timed Automata (TA) based framework. In the proposed framework, we model interactive scenarios as a network of timed automata and extend them with interactive points (IPs) guarded by conditions, thus allowing for the specification of branching behav- iors. Moreover, we take advantage of the mature and efficient tools for TA to simulate and automati- cally verify scenarios. In our framework, scenarios can be synthesized into a reconfigurable hardware in order to provide a low-latency and real-time execution by taking advantage of the physical par- allelism, low-latency, and high-reliability of these devices. Furthermore, we implemented a tool to systematically construct bottom-up TA models from the composition environment of I-SCORE. Doing that, we provide a friendly and specialized environment for composing and automatic verification of interactive scenarios.
In this dissertation we also explore a novel way to define and implement interactive scenarios, aiming at a more dynamic model. For this purpose, we use REACTIVEML, a programming language for implementing interactive systems (e.g., video games and graphical user interfaces). Our imple- mentation allows to easily prototype new features for interactive scenarios and execute living code using the toplevel of REACTIVEML. Moreover, we use the environment INSCORE to develop a graphical interface that provides a real-time visualization of the execution of the scenario. Thus, we improve the current graphical interface of I-SCORE which does not reflect the dynamic changes caused by the interaction with the environment.
Finally, we present an extension of interactive scenarios using Colored Petri Nets (CPNs) that aims to handle complex data, in particular, dynamic and static data audio streams. This extension adds the possibility of building stream processing structures by functional composition of processes through input/output data slots. We take advantage of this functional composition and the hierarchy supported by CPN to build a modular model that we extend with modules for the basic processing of audio files such as reading, appending, and reversing. This extension then opens the possibility of verifying properties about the resource consumption of scenarios by using verification tools for CPNs such as CPN TOOLS.
Notre propos est la conception assistée par ordinateur des scénarios comprenant des contenus multi- média qui interagissent avec les actions extérieures, notamment celles de l’interprète (e.g., spectacles vivants, installations muséales interactives et jeux vidéo). Le contenu multimédia est structuré dans un ordre spatial et temporel selon les exigences de l’auteur. Par conséquent, la complexité potentiel- lement élevée de ces scénarios nécessite des langages de spécification adéquats pour leur complète description et vérification.
Partitions Interactives est un formalisme qui a été proposé comme un modèle pour la composition et l’exécution des scénarios multimédias interactifs. En outre, un séquenceur inter-médias, appelé I- SCORE, a été élaboré à partir de la sémantique Petri net proposée par ce formalisme. Au cours des dernières années, I-SCORE a été utilisé avec succès pour la composition et l’exécution des spectacles et des expositions interactives. Néanmoins, ces applications et les applications émergentes telles que les jeux vidéo et les installations muséales interactives, de plus en plus exigent deux caractéristiques que la version stable actuelle de I-SCORE ainsi que son modèle sous-jacent ne supportent pas : (1) des structures de contrôle flexibles comme des conditionnelles et des boucles ; et (2) des mécanismes pour la vérification automatique de scénarios.
Dans cette thèse, nous présentons deux modèles formels pour la composition et la vérification automatique de scénarios interactifs multimédia avec des choix interactifs, i.e., des scénarios où l’interprète ou le système peut prendre des décisions au sujet de leur état d’exécution avec un certain degré de liberté définie par le compositeur.
Dans notre première approche, nous définissons un nouveau langage de programmation appelé REACTIVEIS dont les programmes sont définis comme des arbres représentant l’aspect hiérarchique des scénarios interactifs et dont les nœuds contiennent les conditions nécessaires pour démarrer et arrêter les objets temporels (TOS). En outre, nous définissons une sémantique opérationnelle basé sur des arbres marqués, contenant dans leurs nœuds, les informations sur le début et la fin de chaque TO. Nous définissons également une interprétation déclarative de REACTIVEIS comme formules de la logique linéaire intuitionniste avec sousexponentiels (SELL). Nous montrons que cette interprétation est adéquate : les dérivations dans la logique correspondent à des traces du programme et vice-versa.
Dans notre deuxième approche, nous présentons un système basé sur des Automates Temporisés. Dans le système proposé, nous modélisons des scénarios interactifs comme un réseau d’automates temporisés et les étendons avec des points interactifs gardés par des conditions, permettant ainsi la spécification de comportements avec branchements. Par ailleurs, nous profitons des outils matures et efficaces pour simuler et vérifier automatiquement des scénarios modélisés comme des automates temporisés. Dans notre système, les scénarios peuvent être synthétisés dans un matériel reconfigu- rable afin de fournir une faible latence et l’exécution en temps réel.
Dans cette thèse, nous explorons également une nouvelle façon de définir et mettre en œuvre des scénarios interactifs, visant à un modèle plus dynamique en utilisant le langage réactif REACTIVEML. Enfin, nous présentons une extension des scénarios interactifs utilisant des réseaux de Petri colorés (CPN) qui vise à traiter des données complexes, en particulier, les données statiques et dynamiques de flux audio.
Loading...