Guiding human-computer music improvisation: introducing authoring and control with temporal scenarios - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2016

Guiding human-computer music improvisation: introducing authoring and control with temporal scenarios

Guider l'improvisation musicale homme-machine : introduire du contrôle et de la composition avec des scénarios temporels

Jérôme Nika

Résumé

This thesis focuses on the introduction of authoring and controls in human-computer music improvisation through the use of temporal scenarios to guide or compose interactive performances, and addresses the dialectic between planning and reactivity in interactive music systems dedicated to improvisation. An interactive system dedicated to music improvisation generates music ``on the fly'', in relation to the musical context of a live performance. This work follows on researches on machine improvisation seen as the navigation through a musical memory: typically the music played by an ``analog'' musician co-improvising with the system during a performance or an offline corpus. These researches were mainly dedicated to free improvisation, and we focus here on pulsed and ``idiomatic'' music. Within an idiomatic context, an improviser deals with issues of acceptability regarding the stylistic norms and aesthetic values implicitly carried by the musical idiom. This is also the case for an interactive music system that would like to play jazz, blues, or rock... without being limited to imperative rules that would not allow any kind of transgression or digression. Various repertoires of improvised music rely on a formalized and temporally structured object, for example a harmonic progression in jazz improvisation. The same way, the models and architecture we developed rely on a formal temporal structure. This structure does not carry the narrative dimension of the improvisation, that is its fundamentally aesthetic and non-explicit evolution, but is a sequence of formalized constraints for the machine improvisation. This thesis thus presents: a music generation model guided by a ``scenario'' introducing mechanisms of anticipation; a framework to compose improvised interactive performances at the ``scenario'' level; an architecture combining anticipatory behavior with reactivity using mixed static/dynamic scheduling techniques; an audio rendering module to perform live re-injection of captured material in synchrony with a non-metronomic beat; a study carried out with ten musicians through performances, work sessions, listening sessions and interviews. First, we propose a music generation model guided by a formal structure. In this framework ``improvising'' means navigating through an indexed memory to collect some contiguous or disconnected sequences matching the successive parts of a ``scenario'' guiding the improvisation (for example a chord progression). The musical purpose of the scenario is to ensure the conformity of the improvisations generated by the machine to the idiom it carries, and to introduce anticipation mechanisms in the generation process, by analogy with a musician anticipating the resolution of a harmonic progression. Using the formal genericity of the couple ``scenario / memory'', we sketch a protocol to compose improvisation sessions at the scenario level. Defining scenarios described using audio-musical descriptors or any user-defined alphabet can lead to approach others dimensions of guided interactive improvisation. In this framework, musicians for whom the definition of a musical alphabet and the design of scenarios for improvisation is part of the creative process can be involved upstream, in the ``meta-level of composition'' consisting in the design of the musical language of the machine. This model can be used in a compositional workflow and is ``offline'' in the sense that one run produces a whole timed and structured musical gesture satisfying the designed scenario that will then be unfolded through time during performance. We present then a dynamic architecture embedding such generation processes with formal specifications in order to combine anticipation and reactivity in a context of guided improvisation. In this context, a reaction of the system to the external environment, such as control interfaces or live players input, cannot only be seen as a spontaneous instant response. Indeed, it has to take advantage of the knowledge of this temporal structure to benefit from anticipatory behavior. A reaction can be considered as a revision of mid-term anticipations, musical sequences previously generated by the system ahead of the time of the performance, in the light of new events or controls. To cope with the issue of combining long-term planning and reactivity, we therefore propose to model guided improvisation as dynamic calls to ``compositional'' processes, that it to say to embed intrinsically offline generation models in a reactive architecture. In order to be able to play with the musicians, and with the sound of the musicians, this architecture includes a novel audio rendering module that enables to improvise by re-injecting live audio material (processed and transformed online to match the scenario) in synchrony with a non-metronomic fluctuating pulse. Finally, this work fully integrated the results of frequent interactions with expert musicians to the iterative design of the models and architectures. These latter are implemented in the interactive music system ImproteK, one of the offspring of the OMax system, that was used at various occasions during live performances with improvisers. During these collaborations, work sessions were associated to listening sessions and interviews to gather the evaluations of the musicians on the system in order to validate and refine the scientific and technological choices.
Cette thèse propose l'introduction de scénarios temporels pour guider ou composer l'improvisation musicale homme-machine et étudie la dialectique entre planification et réactivité dans les systèmes interactifs dédiés à l'improvisation. On fait ici référence à des systèmes informatiques capables de produire de la musique en relation directe avec le contexte musical produit par une situation de concert. Ces travaux s'inscrivent dans la lignée des recherches sur la modélisation du style et l'improvisation automatique vue comme la navigation à travers une mémoire musicale provenant du jeu d'un musicien « analogique » improvisant aux côtés du système ou d'un corpus préalablement appris. On cherche ici à appréhender l'improvisation pulsée et dite « idiomatique » (c'est-à-dire se référant à un idiome particulier) en opposition à l'improvisation « non idiomatique » à laquelle étaient dédiées les recherches mentionnées précédemment. Dans le cas idiomatique, l'improvisateur est confronté à des questions d'acceptabilité au regard de l'idiome. Ces questions se posent donc également à un système d'improvisation dédié à l'improvisation jazz, blues, rock... sans être pour autant limité à des règles impératives interdisant toute transgression et digression. En s'appuyant sur l'existence d'une structure formalisée antérieure à la performance dans de nombreux répertoires improvisés (une « grille d'accords » par exemple) ces travaux proposent : un modèle d'improvisation guidée par un « scénario » introduisant des mécanismes d'anticipation ; une architecture temporelle hybride combinant anticipation et réactivité ; et un cadre pour composer des sessions d'improvisation idiomatique ou non à l'échelle du scénario en exploitant la généricité des modèles. On décrira donc tout d'abord un modèle pour l'improvisation musicale guidée par une structure formelle. Dans ce cadre, « improviser» signifie articuler une mémoire musicale et un « scénario » guidant l'improvisation, une « grille d'accords » dans l'improvisation jazz par exemple. Ce modèle permet d'assurer la conformité des improvisations de la machine au scénario, et utilise la connaissance a priori de la structure temporelle de l'improvisation pour introduire des mécanismes d'anticipation dans le processus de génération musicale, à la manière d'un musicien prévoyant la résolution d'une cadence. Ce modèle peut être utilisé dans un processus compositionnel et est intrinsèquement « hors temps » puisqu'une de ses exécutions produit une séquence complète qui sera ensuite déroulée dans le temps. On présentera ensuite son intégration dans le cadre dynamique de l'improvisation guidée. Dans ce contexte, une « réaction » ne peut pas être vue comme une réponse épidermique et instantanée mais doit tirer profit de la connaissance du scénario pour s'inscrire dans le temps. On considèrera donc une réaction comme une révision des anticipations à court-terme à la lumière de nouveaux évènements. La question de la conciliation entre planification long-terme et réactivité est abordée en modélisant l'improvisation guidée comme des appels dynamiques à des processus statiques, c'est-à-dire des appels « en temps » à un modèle compositionnel. Pour pouvoir jouer avec des musiciens et en utilisant le son de ces musiciens, cette architecture propose également un module de rendu audio permettant d'improviser en réinjectant le son des co-improvisateurs, traité et transformé en temps-réel pour satisfaire le scénario d'improvisation, tout en étant synchronisé avec le temps réel de la performance, mesuré par un tempo possiblement fluctuant. Enfin, la généricité du couple « scénario / mémoire » et la possibilité de définir des scénarios dynamiques incitent à explorer d'autres directions que l'improvisation jazz. Des scénarios décrits avec un alphabet spécifique à un projet musical ou en termes de descripteurs audio-musicaux permettent d'aborder d'autres modes de guidage de l'improvisation musicale. De cette manière, les musiciens pour qui la définition d'un alphabet musical et la conception de scénarios d'improvisation font partie intégrante du processus créatif peuvent être impliqués en amont de la performance. Ces recherches ont été menées en interaction constante avec des musiciens experts, en intégrant pleinement ces collaborations au processus itératif de conception des modèles et architectures. Ceux-ci ont été implémentés dans le système ImproteK, utilisé à de nombreuses reprises lors de performances avec des improvisateurs. Au cours de ces collaborations, les sessions d'expérimentations ont été associées à des entretiens et séances de réécoute afin de recueillir de nombreuses appréciations formulées par les musiciens pour valider et affiner les choix technologiques.
Fichier principal
Vignette du fichier
Thesis.pdf (98.12 Mo) Télécharger le fichier

Dates et versions

tel-01361835 , version 1 (07-09-2016)

Identifiants

  • HAL Id : tel-01361835 , version 1

Citer

Jérôme Nika. Guiding human-computer music improvisation: introducing authoring and control with temporal scenarios. Sound [cs.SD]. UPMC - Université Paris 6 Pierre et Marie Curie, 2016. English. ⟨NNT : ⟩. ⟨tel-01361835⟩
518 Consultations
365 Téléchargements

Partager

Gmail Facebook X LinkedIn More