Model Architectures and Training Techniques for Multilingual Speech-to-Text Translation
Architectures et techniques d'entraînement pour la traduction parole-texte multilingue
Résumé
Speech-to-text translation (ST) consists in translating a speech audio input in one language into a text output in another language. This task is highly challenging due to its multimodal and multilingual nature (the former involves both speech and text modalities, while the latter involes more than one language). In this thesis, we make three major contributions spanning two primary research areas of ST, namely model architectures and training techniques.First, in terms of model architectures, we introduce the dual-decoder Transformer, a new model architecture that jointly performs automatic speech recognition (ASR) and multilingual ST. Our model consists of two decoders, each responsible for one task (ASR or ST), that can interact with each other through a novel dual-attention mechanism. This design allows the decoders to specialize in their respective tasks while being helpful to each other. We propose two variants, called the parallel and cross dual-decoder Transformers, corresponding to two different levels of dependencies between the decoders. The proposed model also generalizes existing approaches using two independent or weakly tied decoders. Experiments on standard benchmarks show that our models outperform previous work in terms of translation performance under both bilingual and multilingual settings.Second, in terms of training techniques, we propose a parameter-efficient fine-tuning approach based on adapter modules. We show that language-specific adapters can enable a fully trained multilingual ST model to be further specialized in each language pair. With these adapter modules, one can efficiently obtain a single multilingual ST system that outperforms the original multilingual model as well as multiple bilingual systems while maintaining a low storage cost and simplicity in deployment. In addition, we show that adapters can also be used to connect available pre-trained models such as an ASR model and a multilingual denoising auto-encoder to form strong multilingual ST systems.Finally, as a second contribution in training techniques, we propose an effective supervised pre-training method to address the so-called speech-text modality gap, a well-known major challenge in ST. Our method combines the connectionist temporal classification loss and optimal transport in a Siamese-like model. This model is composed of two encoders, one for acoustic inputs and the other for textual inputs, which are trained such that they produce representations that are close to each other in the Wasserstein space. Extensive experiments on standard benchmarks show that our pre-training method applied to the vanilla encoder-decoder Transformer achieves state-of-the-art performance under the no-external-data setting, and performs on par with recent strong multi-task learning systems trained with external data. Finally, our method can also be applied on top of these multi-task systems, leading to further improvements for these models.
La traduction automatique de la parole vers le texte (ST) consiste à traduire une parole en une langue en un texte dans une autre langue. Il s’agit d’une tâche extrêmement complexe en raison de sa nature multimodale (impliquant de la parole et du texte) et multilingue. Dans cette thèse, nous apportons trois contributions majeures couvrant deux domaines de recherche principaux de ST, à savoir les architectures de modèles et les techniques d'entraînement.Tout d'abord, en termes d'architectures de modèles, nous introduisons le Transformer à double décodeur, une nouvelle architecture de modèle qui effectue conjointement la reconnaissance automatique de la parole (ASR) et la ST multilingue. Nos modèles sont basés sur le Transformer original, mais ils consistent en deux décodeurs, chacun étant responsable d’une tâche (ASR ou ST). Notre contribution majeure réside dans la manière dont ces décodeurs interagissent entre eux : un décodeur peut se concentrer sur différentes sources d’informations par rapport à l’autre via un mécanisme d’attention double. Nous proposons deux variantes, Transformers à double décodeur parallèles et Transformers à double décodeur croisés. Chacun correspond à deux niveaux de dépendance entre les décodeurs. Les expériences sur l’ensemble de données MuST-C montrent que nos modèles surpassent les performances de traduction les plus élevées précédemment rapportées, tant dans les paramètres bilingues que multilingues.Les techniques d’entraînement peuvent être divisées en trois paradigmes majeurs : le préentraînement, l'ajustement fin et l’apprentissage multitâches. Nos deux contributions suivantes s’inscrivent dans le cadre du préentraînement et de l'ajustement fin, tandis que notre première contribution sur l’architecture du modèle peut également être considérée comme une nouvelle méthode d’apprentissage multitâches pour la ST. Dans notre deuxième contribution, nous proposons une nouvelle méthode de préentraînement supervisé pour traiter ce que l’on appelle l’écart des modalités entre la parole et le texte à l’étape de préentraînement, sans nécessiter de modification du modèle ST. Notre méthode préentraîne un réseau siamois qui utilise la fonction de perte de classification temporelle connectionniste (CTC) et le transport optimal (OT) pour aligner les caractéristiques de la parole et du texte. Des expériences approfondies sur les ensembles de données standard CoVoST-2 et MuST-C montrent que notre méthode de préentraînement appliquée au Transformer encodeur-décodeur vanilla atteint des performances à l’état de l'art lorsqu’il y a absence de données externes, et est comparable aux systèmes récents d’apprentissage multitâches performants entraînés avec des données externes.Enfin, en termes de techniques d’ajustement fin, nous avons proposé une méthode efficace en termes de paramètres pour la ST en utilisant des modules adaptateurs. Alors que l'ajustement des adaptateurs est étudié pour la traduction automatique neuronale multilingue, nous proposons une analyse complète des adaptateurs pour la TS multilingue. En partant de différents modèles pré-entraînés (un ST multilingue entraîné sur des données parallèles ou un mBART multilingue entraîné sur des données multilingues non parallèles), nous montrons que les adaptateurs peuvent être utilisés pour : (a) spécialiser efficacement la ST pour des paires de langues spécifiques avec un faible coût supplémentaire en termes de paramètres, et (b) transférer à partir d’une tâche de reconnaissance automatique de la parole (ASR) et d’un modèle préentraîné mBART vers une tâche de ST multilingue. Les expériences montrent que le réglage avec adaptateurs offre des résultats compétitifs par rapport à l’ajustement fin complet, tout en étant beaucoup plus efficace en termes de paramètres.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
