La bimodalité de la parole au secours de la séparation de sources - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2006

The bimodality of speech as a help to source separation

La bimodalité de la parole au secours de la séparation de sources

Bertrand Rivet

Résumé

This thesis is dedicated to both the joint modeling of the audio and visual modalities of speech and its use in source separation. A mixture of kernels is first proposed to model the bi-modality of audiovisual speech. This modeling is then exploited to detect the silence phases of speech. Moreover, we propose a purely visual detection of silence based on the lip movements of the speaker. The later detection is robust to any acoustic environment. These two modelings are then exploited in source separation of convolutive mixtures. We first solve the classical indeterminacies encountered by frequency domain separation algorithms. We then propose a geometric separation which exploits the silence of the source of interest. The proposed algorithms are validated by experiments on multi-speakers and multi-languages databases.
Cette thèse est dédiée à la modélisation conjointe des modalités audio et vidéo de la parole et à son exploitation pour la séparation de sources. Tout d'abord, une modélisation probabiliste bimodale de la parole audiovisuelle à base de mélange de noyaux est proposée. Cette modélisation est ensuite exploitée pour la détection des silences. De plus, nous proposons une détection purement visuelle des silences en s'appuyant sur l'observation des lèvres du locuteur. Ce dernier procédé présente l'avantage d'être indépendant d'un bruit acoustique. Ces deux modélisations sont ensuite exploitées pour la séparation de mélanges convolutifs de sources audiovisuelles. Nous résolvons ainsi le problème classique des indéterminations des méthodes de séparation dans le domaine fréquentiel avant de proposer une méthode géométrique qui utilise les périodes de silence de la source d'intérêt. Les algorithmes proposés sont validés par des expériences sur des corpus multi-locuteurs et multi-langues.
Fichier principal
Vignette du fichier
RivetThese.pdf (28.84 Mo) Télécharger le fichier

Dates et versions

tel-00200871 , version 1 (21-12-2007)

Identifiants

  • HAL Id : tel-00200871 , version 1

Citer

Bertrand Rivet. La bimodalité de la parole au secours de la séparation de sources. Traitement du signal et de l'image [eess.SP]. Institut National Polytechnique de Grenoble - INPG, 2006. Français. ⟨NNT : ⟩. ⟨tel-00200871⟩
256 Consultations
114 Téléchargements

Partager

Gmail Facebook X LinkedIn More