Semantic structuring of video collections from speech: segmentation and hyperlinking
Structuration sémantique de collections de vidéos fondée sur la parole : segmentation et hyperliage
Résumé
The audiovisual landscape has transformed a lot in the past few years. Trends show a continuous increase in broadcasting data, which brings forward many challenges to process it. Manual annotation, analysis and indexation are rather expensive and labour-intensive tasks. Therefore, the development of new automatic data access tools and data structuring techniques has become a necessity.
The first goal of this thesis is to provide automatic and generic techniques for topical structuring of audiovisual data. Secondly, we aim at studying the implications of the produced structure for various NLP related tasks, such as: video hyperlinking, video anchor detection and summarization. A necessity, in terms of topical structuring, is to provide solutions that are automatic and generic and therefore can be applied to any kind of audiovisual data. With this requisite in mind, we base our approaches on the automatic transcripts of the speech pronounced in the programs, being independent of the type of documents considered.
The first set of contributions starts by providing a new automatic and generic technique for linear topic segmentation. Next, we move from linear topic segmentation to hierarchical one. We first investigate to which extent hierarchical segmentation can capitalize on lexical cohesion and show that the lexical cohesion is not sufficient to retrieve topical reference segmentations. As a result, we propose a new way of thinking about this kind of hierarchical structure, moving from classical dense segmentation to a hierarchy of topically focused fragments.
The second set of contributions are related to the usefulness of the structures previously developed to NLP related tasks. We start by proposing new strategies for precise target and anchor selection in video hyperlinking. Secondly, we develop a novel approach that aims to address two essential aspects of hyperlinking, namely, link diversity and link justification. Our third contribution resumes to proposing a new evaluation scenario that judges the unexpected and informative quality of the targets.
The solutions proposed offer new perspectives on structuring audiovisual data to answer users needs. The experiments were conducted on French and English TV shows automatic and manual transcripts, and show improved performance for the solutions proposed. For topic segmentation we apply our approaches also on written texts, usually employed in the literature for this task.
Au cours des dernières années, de nouveaux challenges ont émergé avec la transformation très significative du paysage audiovisuel due à l'émergence de la télévision sur Internet. La décision de ce qui est regardé et dans quel ordre n'appartient en effet plus à la chaîne TV concernée mais à l'utilisateur. De nouveaux moyens facilitant l'accès précis et rapide à l'information souhaitée au sein des quantités toujours croissantes de contenus audiovisuels doivent donc être proposés aux utilisateurs : par exemple, pour repérer un événement spécifique, un fragment d'émission contenant une certaine personnalité ou abordant un sujet particulier, voire pour naviguer successivement entre tous les segments de vidéos abordant ce sujet. Ces fonctionnalités nouvelles et variées impliquent le développement de méthodes novatrices de structuration et d'exploitation des contenus audiovisuels, sujet abordé dans cette thèse. Nous proposons d'une part des techniques automatiques de structuration thématique des données audiovisuelles permettant de révéler l'organisation interne de chaque programme. Nous étudions également les implications de la structure produite sur diverses tâches telles que la création d'hyperliens entre vidéos (afin de permettre une navigation entre fragments d'émissions thématiquement proches) ou la création de résumés automatiques. L'ensemble des travaux menés est effectué sur les transcriptions automatiques de la parole prononcée dans les émissions, afin d'obtenir des solutions génériques, non dédiées à un type de programme
Loading...