Du signal au concept : réseaux de neurones profonds appliqués à la compréhension de la parole - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2021

From signal to concept : Deep neural networks applied to spoken language understanding

Du signal au concept : réseaux de neurones profonds appliqués à la compréhension de la parole

Résumé

This thesis is part of the deep learning applied to spoken language understanding. Until now, this task was performed through a pipeline of components implementing, for example, a speech recognition system, then different natural language processing, before involving a language understanding system on enriched automatic transcriptions. Recently, work in the field of speech recognition has shown that it is possible to produce a sequence of words directly from the acoustic signal. Within the framework of this thesis, the aim is to exploit these advances and extend them to design a system composed of a single neural model fully optimized for the spoken language understanding task, from signal to concept. First, we present a state of the art describing the principles of deep learning, speech recognition, and speech understanding. Then, we describe the contributions made along three main axes. We propose a first system answering the problematic posed and apply it to a task of named entities recognition. Then, we propose a transfer learning strategy guided by a curriculum learning approach. This strategy is based on the generic knowledge learned to improve the performance of a neural system on a semantic concept extraction task. Then, we perform an analysis of the errors produced by our approach, while studying the functioning of the proposed neural architecture. Finally, we set up a confidence measure to evaluate the reliability of a hypothesis produced by our system.
Cette thèse s’inscrit dans le cadre de l’apprentissage profond appliqué à la compréhension de la parole. Jusqu'à présent, cette tâche était réalisée par l’intermédiaire d’une chaîne de composants mettant en oeuvre, par exemple, un système de reconnaissance de la parole, puis différents traitements du langage naturel, avant d’impliquer un système de compréhension du langage sur les transcriptions automatiques enrichies. Récemment, des travaux dans le domaine de la reconnaissance de la parole ont montré qu’il était possible de produire une séquence de mots directement à partir du signal acoustique. Dans le cadre de cette thèse, il est question d’exploiter ces avancées et de les étendre pour concevoir un système composé d’un seul modèle neuronal entièrement optimisé pour la tâche de compréhension de la parole, du signal au concept. Tout d’abord, nous présentons un état de l’art décrivant les principes de l’apprentissage neuronal profond, de la reconnaissance de la parole, et de la compréhension de la parole. Nous décrivons ensuite les contributions réalisées selon trois axes principaux. Nous proposons un premier système répondant à la problématique posée et l’appliquons à une tâche de reconnaissance des entités nommées. Puis, nous proposons une stratégie de transfert d’apprentissage guidée par une approche de type curriculum learning. Cette stratégie s’appuie sur les connaissances génériques apprises afin d’améliorer les performances d’un système neuronal sur une tâche d’extraction de concepts sémantiques. Ensuite, nous effectuons une analyse des erreurs produites par notre approche, tout en étudiant le fonctionnement de l’architecture neuronale proposée. Enfin, nous mettons en place une mesure de confiance permettant d’évaluer la fiabilité d’une hypothèse produite par notre système.
Fichier principal
Vignette du fichier
2021LEMA1001.pdf (4.47 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03177996 , version 1 (23-03-2021)

Identifiants

  • HAL Id : tel-03177996 , version 1

Citer

Antoine Caubriere. Du signal au concept : réseaux de neurones profonds appliqués à la compréhension de la parole. Informatique et langage [cs.CL]. Le Mans Université, 2021. Français. ⟨NNT : 2021LEMA1001⟩. ⟨tel-03177996⟩
509 Consultations
387 Téléchargements

Partager

Gmail Facebook X LinkedIn More