Explicit memory inclusion for efficient artificial bandwidth extension - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

Explicit memory inclusion for efficient artificial bandwidth extension

Inclusion de mémoire explicite pour l'extension efficace et artificielle de bande passante

Résumé

Most ABE algorithms exploit contextual information or memory captured via the use of static or dynamic features extracted from neighbouring speech frames. The use of memory leads to higher dimensional features and increased computational complexity. When information from look-ahead frames is also utilised, then latency also increases. Past work points toward the benefit to ABE of exploiting memory in the form of dynamic features with a standard regression model. Even so, the literature is missing a quantitative analysis of the relative benefit of explicit memory inclusion. The research presented in this thesis assesses the degree to which explicit memory is of benefit and furthermore reports a number of different techniques that allow for its inclusion without significant increases to latency and computational complexity. Benefits are shown through both a quantitative analysis with an information-theoretic measure and subjective listening tests. Key contributions relate to the preservation of computational efficiency through the use of dimensionality reduction in the form of principal component analysis, semisupervised stacked autoencoders and conditional variational auto-encoders. The two latter techniques optimise dimensionality reduction to deliver superior ABE performance.
La plupart des algorithmes ABE exploitent les informations contextuelles ou la mémoire capturée via l'utilisation de caractéristiques statiques ou dynamiques extraites de trames de parole voisines. L'utilisation de la mémoire entraîne des caractéristiques dimensionnelles plus élevées et une complexité informatique accrue. Lorsque les informations provenant de trames de prévisualisation sont également utilisées, la latence augmente également. Les travaux antérieurs montrent l'avantage pour ABE d'exploiter la mémoire sous la forme d'entités dynamiques avec un modèle de régression standard. Même dans ce cas, la littérature manque d'une analyse quantitative de l'avantage relatif de l'inclusion de mémoire explicite. La recherche présentée dans cette thèse évalue dans quelle mesure la mémoire explicite est utile et rapporte en outre un certain nombre de techniques différentes qui permettent son inclusion sans augmentation significative de la latence et de la complexité de calcul. Les avantages sont démontrés à la fois par une analyse quantitative avec une mesure basée sur la théorie de l'information et par des tests d'écoute subjectifs. Les principales contributions concernent la préservation de l'efficacité des calculs grâce à l'utilisation de la réduction de dimensionnalité sous la forme d'une analyse en composantes principales, d'auto-encodeurs superposés semi-supervisés et d'auto-encodeurs variationnels conditionnels. Les deux dernières techniques optimisent la réduction de la dimensionnalité pour offrir une performance ABE supérieure.
Fichier principal
Vignette du fichier
these_bachhav_pramod_2019.pdf (7.97 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)
Loading...

Dates et versions

tel-02926274 , version 1 (31-08-2020)

Identifiants

  • HAL Id : tel-02926274 , version 1

Citer

Pramod Bachhav. Explicit memory inclusion for efficient artificial bandwidth extension. Signal and Image Processing. Sorbonne Université, 2019. English. ⟨NNT : 2019SORUS492⟩. ⟨tel-02926274⟩
119 Consultations
144 Téléchargements

Partager

Gmail Facebook X LinkedIn More