Comprehensibility of audiovisual content: What approaches for an objective measurement?
Compréhensibilité de contenus audiovisuels : quelles approches pour une mesure objective ?
Résumé
Teaching foreign languages often requires the use of audiovisual documents, however choosing and preparing these documents for classes can be cumbersome and thus limit the number of documents exploited by foreign language teachers. This thesis is a collaboration between Archean Labs and the Institut de Recherche Informatique de Toulouse (IRIT). The objective is to allow teachers of French as a Foreign Language (FFL) to target documents for which a level of comprehensibility has been automatically pre-established. This thesis deals with the research of an objective measure of the comprehensibility of audiovisual contents. First, we focused on the phenomena affecting the comprehensibility of a document. To identify them, we have considered two complementary points of view: that of foreign language didactics and that of automatic processing. It was noticed that no resources were available to allow us studying the comprehensibility of audiovisual content and defining an associated measure. We have built a corpus which gathers a set of extracts from fictional documents, analyzed considering three modalities: image, audio and text. Submitted to a set of experts, our ESCAL corpus (Évaluation Subjective de la Compréhensibilité pour l’Apprentissage des Langues) is accompanied by annotations that were manually performed at different levels (lexical, syntactic, acoustic) with a focus on the comprehensibility level. It has thus been possible to study and compare different approaches for predicting an objective measure of the comprehensibility of audiovisual content. The first approach is called interpretable: we seek to make explicit the factors involved in the prediction. In this approach, the models are built from parameters that are extracted directly from the audio, video signal and the exact transcription of the document. The second approach is referred to as neural: we feed regression models with representations from deep neural networks pre-trained on each modality (audio, video and text). The correlation between ground truth and predicted scores shows that the interpretable approach provides the best model for predicting comprehensibility level.
For portability purposes, our system was validated on a new dataset. Regarding the comprehensibility level, the automatic results obtained are consistent with the manual annotations performed by experts.
The work presented in this manuscript will allow us to lay the foundations of an application intended for foreign language teachers: its objective will be to assist in the didactisation of audiovisual content.
L’enseignement des langues étrangères nécessite souvent l’utilisation de documents audiovisuels, cependant les tâches de sélection et de didactisation de ces documents peuvent s’avérer lourdes et de ce fait restreindre le nombre de documents exploités par les professeurs de langues étrangères. Cette thèse est une collaboration entre la société Archean Labs et l’Institut de Recherche Informatique de Toulouse (IRIT). L’objectif est de permettre aux professeurs de Français Langue Etrangère (FLE) de cibler des documents pour lesquels un niveau de compréhensibilité a été préétabli automatiquement. Cette thèse porte sur la recherche d’une mesure objective du niveau de compréhensibilité de contenus audiovisuels. Dans un premier temps, nous nous intéressons aux phénomènes reconnus comme influençant la compréhensibilité d'un document. Pour cela nous avons considéré deux points de vue complémentaires : celui de la didactique des langues étrangères et celui du traitement automatique. Nous avons constaté qu’il n’existait pas de ressources qui permettraient d’étudier la compréhensibilité de contenu audiovisuel et de définir une mesure permettant une évaluation du niveau associé. Nous avons constitué un corpus qui rassemble un ensemble d’extraits issus de documents de fiction, décomposés pour une analyse fine en modalité (image, audio et texte). Soumis à un ensemble d’experts, notre corpus ESCAL (Évaluation Subjective de la Compréhensibilité pour l’Apprentissage des Langues) s’accompagne d’annotations qui ont été réalisées manuellement à différents niveaux (lexical, syntaxique, acoustique) avec un focus sur le niveau de compréhensibilité. Il a ainsi permis d’étudier et de comparer différentes approches pour la prédiction d’une mesure objective du niveau de compréhensibilité de contenus audiovisuels. La première est dite interprétable : nous cherchons à expliciter les facteurs qui sont entrés en jeu dans la prédiction. Dans cette approche, les modèles sont construits à partir de paramètres qui sont extraits directement du signal audio, vidéo et de la transcription exacte du document. La seconde approche est désignée comme neuronale : nous alimentons des modèles de régression avec des représentations issues de réseaux de neurones profonds pré-entraînés sur chaque modalité (audio, vidéo et texte). La corrélation entre la vérité terrain et les scores prédits montre que l’approche interprétable permet d’obtenir le meilleur modèle de prédiction du niveau de compréhensibilité.
A des fins de portabilité, notre système a été validé sur un nouveau jeu de données. Concernant le niveau de compréhensibilité, les résultats automatiques obtenus sont cohérents avec les annotations manuelles réalisées par des experts.
Les travaux présentés dans ce manuscrit vont permettre de poser les bases d’une application destinée aux enseignants de langues étrangères : elle aura pour objectif d’aider à la didactisation de contenus audiovisuels.
Fichier principal
These_Estelle_Randria_Version_Finale_Confidentielle.pdf (3.98 Mo)
Télécharger le fichier
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|