End-to-End Neural Approaches for Speech Translation - TEL - Thèses en ligne Access content directly
Theses Year : 2022

End-to-End Neural Approaches for Speech Translation

Approches neurales de bout-en -bout pour la traduction de la parole

Abstract

The introduction of speech translation corpora, which have speech signals aligned with the corresponding translation texts, coupled with the steady growth in the computational capacity, plays a crucial role in making the training of neural end-to-end speech-to-text translation feasible. The endeavor of this thesis is exploring neural approaches for end-to-end speech-to-text translation, which shall be referred to as Automatic Speech Translation, particularly focusing on two types of end-to-end translation systems: (1) Offline Speech Translation and (2) Online Speech Translation.With respect to offline speech translation, we build strong end-to-end baselines for two language pairs English-to-Portuguese and English-to-German. They are based on VGG-like Convolutional Neural Network blocks coupled with Long Short-Term Memory layers at the encoder side and a stack of Long Short-Term Memory layers at the decoder side. We investigate different data augmentation techniques as well as different target token units (characters, Byte Pair Encoding of different sizes) and validate those baselines through our participation in international shared tasks on speech translation. Besides, we put Self-Supervised Learning from speech representations, particularly pre-trained English wav2vec, into a comparison with the conventional speech representations including Mel filter-bank and MFCC features, when applied to the speech translation task, specifically in low and medium-resource scenarios, when we have less than 100 hours of training data. We explain through analyses that wav2vec features might be better at discriminating phones, better at aligning source and target sequence, and more robust to speaker variability. Last but not least, we train our own Self-Supervised Learning models from a large amount of unlabelled French speech data, which are then proven effective for a wide range of speech tasks that are included in a reproducible framework for assessing self-supervised representation learning from speech named LeBenchmark.As regards online speech translation, we adapt wait-k policy, which is originally proposed for online text-to-text translation, for the speech translation task, and advocate for using Unidirectional instead of Bidirectional Long Short-Term Memory speech encoders for online speech translation. We propose a new encoding strategy named Unidirectional Long Short-Term Memory Overlap-and-Compensate, which allows Unidirectional Long Short-Term Memory-based speech encoders to work more effectively in online speech translation. We evaluate both the decoding and encoding strategies firstly on the ability to leverage pre-trained offline end-to-end speech translation models for the online translation task. Furthermore, we propose to fine-tune these pre-trained models in a training mode more adapted to online translation to further boost the performance of the online translation systems. In addition, other aspects of online speech translation, for instance, the impact of input speech segmentation, the impact of output granularity, and different fine-tuning scenarios, are also investigated.
La disponibilité de corpus de traduction de la parole dont les signaux de parole sont alignés avec les textes traduits correspondants, couplée à l’augmentation constante de la capacité de calcul, rend désormais possible l'entraînement de systèmes automatiques de traduction parole-texte de bout-en-bout. L'objectif de cette thèse est d'explorer les approches neuronales pour cette tâche de traduction parole-texte, appelée traduction automatique de la parole, en se concentrant particulièrement sur deux types de systèmes de traduction de bout-en-bout: (1) Traduction de la parole hors ligne (offline speech translation) et (2) Traduction de la parole en ligne (online speech translation).En ce qui concerne la traduction hors ligne, nous développons des baselines solides pour deux paires de langues : anglais-portugais et anglais-allemand. Elles sont fondées sur des blocs de réseaux neuronaux convolutifs couplés à des couches récurrentes de type LSTM (Long Short-Term Memory) côté encodeur et à plusieurs couches LSTM côté décodeur. Nous étudions différentes techniques d'augmentation de données ainsi que différentes unités lexicales cibles (caractères, unités BPE de différentes tailles). Nous validons nos méthodes en participant à des campagnes internationales d’évaluation de traduction de la parole. Nous introduisons aussi, dans cette thèse, l’utilisation de représentations issues de l'apprentissage auto-supervisé (en utilisant un modèle de type wav2vec) et les comparons avec des représentations conventionnelles (dont les coefficients MFCCs et les coefficients en bancs de filtres) pour la tâche de traduction de la parole. Cette comparaison est effectuée en particulier dans des scénarios avec des ressources faibles ou moyennes (moins de 100 heures de données d'entraînement). Nous effectuons des analyses qui montrent que les représentations auto-supervisées améliorent les performances de nos modèles et sont aussi plus efficaces pour discriminer les phonèmes et aligner les séquences source et cible, ainsi que plus robustes à la variabilité des orateurs. Enfin, nous entraînons nos propres modèles d'apprentissage auto-supervisés à partir d'une grande quantité de données brute de parole en français. De tels modèles sont utiles pour un large éventail de tâches concernant la parole. Ces tâches sont incluses dans une suite d'évaluation open-source pour l'apprentissage auto-supervisé, nom mée ‘LeBenchmark'.Concernant la traduction de la parole en ligne, nous adaptons la stratégie wait-k, initialement proposée pour la traduction simultanée texte-texte, à la tâche de traduction de la parole. Pour la traduction simultanée de la parole, nous préconisons l'utilisation d'encodeurs LSTM unidirectionnels plutôt que bidirectionnels. Nous proposons une nouvelle stratégie d'encodage nommée 'Unidirectional Long Short-Term Memory Overlap-and-Compensate', qui permet aux encodeurs de parole LSTM unidirectionnels de fonctionner plus efficacement en ligne. Tout d'abord, nous évaluons nos stratégies de décodage et d'encodage sur la tâche de traduction en ligne. Après, nous proposons d’ajuster ces modèles pré-entraînés (par réglage fin) dans un mode d'apprentissage plus adapté à la traduction en ligne pour encore améliorer les performances. Enfin, d'autres aspects de la traduction en ligne de la parole sont étudiés, tels que l'impact de la segmentation des données en entrée, l'impact de la granularité de sortie ou encore différents scénarios de réglage fin.
Fichier principal
Vignette du fichier
NGUYEN_2022_archivage.pdf (2.37 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-04075896 , version 1 (20-04-2023)

Identifiers

  • HAL Id : tel-04075896 , version 1

Cite

Manh Ha Nguyen. End-to-End Neural Approaches for Speech Translation. Computation and Language [cs.CL]. Université Grenoble Alpes [2020-..], 2022. English. ⟨NNT : 2022GRALM048⟩. ⟨tel-04075896⟩
71 View
249 Download

Share

Gmail Facebook X LinkedIn More