Diarisation multimodale : vers des modèles robustes et justes en contexte réel - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Multimodal diarization : towards robustness and fairness in the wild

Diarisation multimodale : vers des modèles robustes et justes en contexte réel

Yannis Tevissen
  • Fonction : Auteur
  • PersonId : 1326101
  • IdRef : 273837311

Résumé

Speaker diarization, or the task of automatically determining "who spoke, when?" in an audio or video recording, is one of the pillars of modern conversation analysis systems. On television, the content broadcasted is very diverse and covers about every type of conversation, from calm discussions between two people to impassioned debates and wartime interviews. The archiving and indexing of this content, carried out by the Newsbridge company, requires robust and fair processing methods. In this work, we present two new methods for improving systems' robustness via fusion approaches. The first method focuses on voice activity detection, a necessary pre-processing step for every diarization system. The second is a multimodal approach that takes advantage of the latest advances in natural language processing. We also show that recent advances in diarization systems make the use of speaker diarization realistic, even in critical sectors such as the analysis of large audiovisual archives or the home care of the elderly. Finally, this work shows a new method for evaluating the algorithmic fairness of speaker diarization, with the objective to make its use more responsible.
La diarisation du locuteur, c'est à dire la tache de déterminer automatiquement « qui parle, quand ? » dans un enregistrement audio ou vidéo, est un des piliers des systèmes modernes d'analyse des conversations. A la télévision, les contenus diffusés sont divers et couvrent à peu près tous les types de conversations, de la discussion calme entre deux personnes, aux débats passionnés, en passant par les interviews en terrain de guerre. L'analyse de ces contenus, réalisée par la société Newsbridge, requiert, en vue de leur archivage et de leur indexation, des méthodes de traitement robustes et justes. Dans ce travail, nous présentons deux nouvelles méthodes permettant d'améliorer la robustesse des systèmes via des approches de fusion. La première se concentre sur la détection d'activité vocale, prétraitement nécessaire à tout système de diarisation. La seconde est une approche multimodale qui tire notamment parti des dernières avancées en traitement du langage naturel. Nous voyons également que les récentes avancées des systèmes de diarisation rendent l'utilisation de la diarisation du locuteur réaliste y compris dans des secteurs critiques tels que l'analyse de larges archives audiovisuelles ou le maintien à domicile de personnes âgées. Enfin ce travail présente une nouvelle méthode d'évaluation de la justesse algorithmique de la diarisation du locuteur en vue de rendre son utilisation plus responsable.
Fichier principal
Vignette du fichier
128980_TEVISSEN_2023_archivage_final.pdf (4.01 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04345081 , version 1 (14-12-2023)

Identifiants

  • HAL Id : tel-04345081 , version 1

Citer

Yannis Tevissen. Diarisation multimodale : vers des modèles robustes et justes en contexte réel. Intelligence artificielle [cs.AI]. Institut Polytechnique de Paris, 2023. Français. ⟨NNT : 2023IPPAS014⟩. ⟨tel-04345081⟩
67 Consultations
96 Téléchargements

Partager

Gmail Facebook X LinkedIn More