Analyse de scènes de parole multisensorielle : Mise en évidence et caractérisation d’un processus de liage audiovisuel préalable à la fusion. - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2013

Multisensory speech scene analysis : Evidence for and characterization of an audiovisual binding process preceding fusion

Analyse de scènes de parole multisensorielle : Mise en évidence et caractérisation d’un processus de liage audiovisuel préalable à la fusion.

Résumé

This thesis is focused on audiovisual speech, with the aim of better understanding the mechanisms enabling to link auditory and visual speech signals in the human brain.In a first theoretical part were view key issues concerning audiovisual speech and the underlying models of integration of auditory and visual inputs. Then we discuss the question of the existence of an early audio-visual integration stage and we formulate our main hypothesis in which we posit the existence of an “audiovisual binding process”, prior to audio- visual fusion.Based on this assumption the experimental work is organized in two parts. Firstly we provide evidence in favor of the existence of a binding process by developing and gradually refining a new experimental paradigm. Then we attempt to characterize this process by setting up a number of experiments studying the influence of various critical parameters. We finish with a discussion of our results and relate them to present questions about cognitive perceptual processing of audiovisual speech.
Dans le cadre de cette thèse centrée sur la perception de la parole audiovisuelle, le but de notre étude est de mieux comprendre les mécanismes qui permettent de lier les signaux auditifs et visuels de la parole. Une première partie théorique permet dépasser en revue les principales questions portant sur la parole audiovisuelle et sur les principaux modèles d’intégration des inputs auditif et visuels. Puis nous abordons la question de l’existence d’un possible niveau précoce d’intégration audio-visuelle qui nous conduit à formuler notre hypothèse principale d’existence d’un processus de« liage audiovisuel », qui constituerait une étape préalable à la fusion audio-visuelle. En nous basant sur cette hypothèse nous abordons la phase expérimentale de notre travail, organisée en deux parties. D’abord nous entreprenons de démontrer l’existence du processus du liage en utilisant et en affinant peu à peu un nouveau paradigme expérimental. Puis nous traitons de la caractérisation de ce processus en mettant en place des expériences qui étudient l’influence de différents paramètres critiques. Nous terminons ce manuscrit par une discussion sur nos résultats et leur positionnement dans la littérature actuelle.
Fichier principal
Vignette du fichier
Olha_finale.pdf (5.03 Mo) Télécharger le fichier

Dates et versions

tel-01558102 , version 1 (19-07-2015)
tel-01558102 , version 2 (07-07-2017)

Identifiants

  • HAL Id : tel-01558102 , version 1

Citer

Olha Nahorna. Analyse de scènes de parole multisensorielle : Mise en évidence et caractérisation d’un processus de liage audiovisuel préalable à la fusion.. Sciences cognitives. Université de Grenoble, 2013. Français. ⟨NNT : ⟩. ⟨tel-01558102v1⟩
476 Consultations
1278 Téléchargements

Partager

Gmail Facebook X LinkedIn More