Synchronisation automatique d'un contenu audiovisuel avec un texte qui le décrit - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2016

Automaatic synchronization between an audiovisual content and the text that describes its content

Synchronisation automatique d'un contenu audiovisuel avec un texte qui le décrit

Résumé

We address the problem of automatic synchronization of an audiovisual content with a procedural text that describes it. The strategy consists in extracting pieces of information about the structure from both contents, and in matching them depending on their types. We propose two video analysis tools that respectively extract: * Limits of events of interest using an approach inspired by dictionary quantization. * Segments that enclose a repeated action based on the YIN frequency analysis method. We then propose a synchronization system that merges results coming from these tools in order to establish links between textual instructions and the corresponding video segments. To do so, a "Confidence Matrix" is built and recursively processed in order to identify these links in respect with their reliability.
Nous abordons le problème de la synchronisation automatique d'un contenu audiovisuel avec une procédure textuelle qui le décrit. La stratégie consiste à extraire des informations sur la structure des deux contenus puis à les mettre en correspondance. Nous proposons deux outils d'analyse vidéo qui extraient respectivement : * les limites des évènements d'intérêt à l'aide d'une méthode de quantification de type dictionnaire * les segments dans lesquels une action se répète en exploitant une méthode d'analyse fréquentielle : le YIN. Ensuite, nous proposons un système de synchronisation qui fusionne les informations fournies par ces outils pour établir des associations entre les instructions textuelles et les segments vidéo correspondants. Une "Matrice de confiance" est construite et exploitée de manière récursive pour établir ces associations en regard de leur fiabilité.
Fichier principal
Vignette du fichier
2016TOU30104.pdf (7.36 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-01488366 , version 1 (13-03-2017)

Identifiants

  • HAL Id : tel-01488366 , version 1

Citer

Hassan Wehbe. Synchronisation automatique d'un contenu audiovisuel avec un texte qui le décrit. Traitement des images [eess.IV]. Université Paul Sabatier - Toulouse III, 2016. Français. ⟨NNT : 2016TOU30104⟩. ⟨tel-01488366⟩
168 Consultations
289 Téléchargements

Partager

Gmail Facebook X LinkedIn More