Speaker interactions : from overlapped speech to interruption detection.
Interactions entre locuteurs : de la détection de la parole superposée à la détection des interruptions
Résumé
The ANR GEM project, initiated by the National Audiovisual Institute, aims to study the differences in treatment and representation between women and men in the media. This project encourages collaboration between research in media and language sciences and research in computer science. One of the project's objectives is to promote the creation of automated tools to generalize and facilitate social sciences and humanities studies on large corpora.
In this thesis, we will focus on signal processing tools that facilitate the characterization of speaker representations. Specifically, we propose methods to automatically detect and characterize interruptions during conversations from television debate programs.
Interruption is a subjective concept with no consensus on its definition. In our field of automatic processing, this task is new, lacks a framework, and has limited resources. We propose, initially, to narrow down the definition of interruptions to the specific case of overlapped speech, following the literature in sociology and language sciences. A tool for detecting the presence of single and multiple speakers' vocal activity has been developed in this context. Developing such a tool raises questions beyond quantitative evaluation. Several studies have been conducted on the duration and linguistic content of the multi-speaker segments.
Subsequently, we specifically focused on interruption detection. Training dedicated neural models required the collection and annotation of a corpus. By guiding the annotators, we arrived at an example-based definition of interruption. Creating such a corpus enabled the development of a binary interruption classification model to characterize the previously detected multi-speaker segments.
Le projet ANR GEM, à l'initiative de l'institut national de l'audiovisuel, vise à étudier les différences de traitement et de représentation entre les femmes et les hommes dans les médias. Ce projet encourage la collaboration entre la recherche menée en sciences des médias et du langage et celle menée en informatique. Un des objectifs du projet est de favoriser la création d’outils automatiques afin de généraliser et favoriser les études SHS sur de larges corpus.
Dans cette thèse, nous nous focaliserons sur des outils de traitement du signal qui faciliteront la caractérisation des représentations des locuteurs. Plus précisément, nous proposons des méthodes pour détecter et caractériser automatiquement les interruptions au cours d'une conversation issue d’émissions de débats télévisuels.
L'interruption est une notion subjective, dont la définition n’est pas consensuelle. Dans notre domaine du traitement automatique, cette tâche est nouvelle, sans cadre et avec peu de ressources. Nous proposons, dans un premier temps, de réduire la définition des interruptions au cas particulier de la parole superposée conformément à la littérature en sociologie et en sciences du langage. Un outil de détection de la présence d’activité vocale mono et multi-locuteur a été développé dans ce contexte. Le développement d’un tel outil pose la question au-delà d'une évaluation quantitative. À partir des segments multi-locuteurs, plusieurs études ont été réalisées portant sur leur durée ainsi que sur leur contenu linguistique.
Dans un second temps, nous nous sommes intéressés spécifiquement à la détection des interruptions. L’apprentissage de modèles neuronaux dédiés a nécessité la collecte et l’annotation d’un corpus. En guidant les annotateurs, nous avons abouti à une définition de l'interruption par l’exemple. La création d'un tel corpus a permis de développer un modèle de classification binaire d'interruption pour qualifier les segments multi-locuteurs précédemment détectés.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |
