Real-time Programming and Processing of Music Signals - TEL - Thèses en ligne Accéder directement au contenu
Hdr Année : 2013

Real-time Programming and Processing of Music Signals

Traitement et programmation temps-réel des signaux musicaux

Résumé

My research and supervision activities since my PhD defense in October 2008 lies at the intersection and union of real-time machine listening and real-time synchronous music computing, two disjoint literatures whose conjunction is more than obvious in interactive computer music practices and whose coupling has rarely been addressed. It aims at fostering research in each respective domain and providing tools to composers and artists to elevate their music-making and performance capabilities with computers to that of their human counterparts. The first aspect of any interactive music system is the act of machine listening or formally speaking, online music information retrieval. I attempted to focus my work on application-driven approaches such as real-time polyphonic pitch detection and real-time alignment techniques on one hand, and theoretical by attempting to address fundamental problems in representational frontends of such systems. Within the first aspect, we proposed two state-of-the-art approaches for the aforementioned application domains renown by their use by the artistic community and their recognition within the MIR community. The second aspect deals with the fundamental problem of quantification and qualification of information content as they arrive incrementally into a system using methods of information geometry. The second and more recent aspect of my work focuses on reactive synchronous programming coupled to machine listening systems or the formalization of reactions in interactive systems to artificial perceptions in real-time. Our approach is motivated by current practices in digital arts for authoring or programming and their real-time evaluation in interaction with a changing environment. The major incarnation of this approach is the Antescofo system and language, running publicly since 2009, which has established itself worldwide within the mixed music repertoire. Authoring of time and interaction and attempting to assure their correct and timely execution in real-time with human performers (through machine perception) pose challenging problems to computer science and system designers that will be the focus of my work in the years to come, under the auspice of Cyber-Physical Music Systems. Coupling of machine listening with computer languages requires augmenting current approaches with formal models of time, leveraging the dominating functional approach with reaction and execution requirements and a possible re-thinking of widely accepted audio processing methods and systems with regards to time.
Mes activités de recherche et d'encadrement, depuis ma soutenance de thèse en octobre 2008, gravitent à la confluence de deux problématiques souvent considérées comme distinctes dont le couplage est plus qu'évident en informatique musicale : l'écoute artificielle et la programmation synchrone des signaux musicaux en temps réel. Le but est d'enrichir chaque domaine respectivement et de fournir des outils nécessaires aux artistes pour étendre leurs capacités de création musicale sur ordinateur (à celui de leurs homologues humains). Le premier aspect de tout système de musique interactive est l'acte de l'écoute ou formellement parlant, l'extraction d'informations musicaux en temps réel. J'ai concentré mes efforts sur les approches axées sur les applications telles que la détection de pitch polyphonique et les techniques d'alignement en temps réel d'une part. Puis, d'autre part, j'ai abordé des problèmes fondamentaux liés à la représentation des signaux. Pour le premier volet, nous avons proposé deux approches reconnues comme l'état de l'art et renommées par leur utilisation par la communauté artistique et leur reconnaissance au sein de la communauté MIR. Le deuxième volet théorique porte sur le problème fondamental de la quantification et la qualification du contenu de l'information arrivant progressivement dans un système en utilisant des méthodes de la géométrie de l'information. Le deuxième et plus récent aspect de mon travail se concentre sur la programmation synchrone réactive de la musique, couplée à des systèmes d'écoute (ou la formalisation de réactions dans les systèmes interactifs aux perceptions artificielles en temps réel). Notre approche est motivée par les pratiques actuelles en art numérique et les exigences d'évaluation en temps réel qu'elles demandent. L'incarnation majeure de cette approche est le système Antescofo doté d'une machine d'écoute et d'un langage dynamique et qui s'est imposé dans le monde entier dans le répertoire de la musique mixte, reconnu du public depuis 2009. L'écriture du temps, l'interaction et la tentative d'assurer leur exécution correcte en temps réel posent des problèmes difficiles pour l'informatique et les concepteurs de systèmes. Ce couplage fort fera l'objet de mon travail dans les années à venir sous la bannière des systèmes de musique Cyber-physique. Le couplage entre la machine d'écoute et des langages temps réel nécessite d'augmenter les approches actuelles avec des modèles formels de temps, dépassant les approches fonctionnelles qui dominent pour développer une formalisation des exigences de réaction et d'exécution. Il faudra en conséquence repenser nos méthodes usuelles de traitement audio multiforme et leurs modèles de calculs sous-jacents en ce qui concerne le temps.
Fichier principal
Vignette du fichier
ArshiaCont_HDR_Scientific4.pdf (4.2 Mo) Télécharger le fichier
HDR-Soutenance_v1.pdf (34.75 Mo) Télécharger le fichier
Format : Autre

Dates et versions

tel-00829771 , version 1 (03-06-2013)

Identifiants

  • HAL Id : tel-00829771 , version 1

Citer

Arshia Cont. Real-time Programming and Processing of Music Signals. Sound [cs.SD]. Université Pierre et Marie Curie - Paris VI, 2013. ⟨tel-00829771⟩
523 Consultations
1741 Téléchargements

Partager

Gmail Facebook X LinkedIn More