Towards an improved understanding of the concept of style and its implications for textual style transfer - TEL - Thèses en ligne Access content directly
Theses Year : 2023

Towards an improved understanding of the concept of style and its implications for textual style transfer

Vers une meilleure compréhension du concept de style et de ses implications pour le transfert de style textuel

Abstract

The concept of linguistic style denotes that many aspects of text can vary while maintaining a same source core semantic meaning. For example, a message may be written in a formal or informal style. The textual style transfer problem aims at generating a paraphrase of a given text by modifying its style while preserving its content. To the best of our knowledge, within the literature on textual style transfer, there is no standard widely accepted definition of the concept of style. Moreover, very few works have investigated the characteristics of language styles. Therefore, previous research, as far as our knowledge extends, have not taken the variations of different textual style domains into account while dealing with the style transfer task. This research investigates domain-specific style characteristics by examining the separation of the style and content, as well as the variations in style across domains and how these variations are encoded. Furthermore, it looks into the factors which are relevant to do a comprehensive evaluation of textual style transfer models. The research uses the domains of sentiment and formality. A variety of frameworks have been employed as textual style transfer models throughout the experiments of the current work where networks such as RNNs, and transformers are used as the encoders, decoders and discriminators. These models are trained in an unsupervised manner, i.e. the data is or is considered as non-parallel. The experimental methodology frames style transfer as a multi-objective problem, evaluating each approach through three aspects of the generated style-shifted outputs: presence of the target style (style-shift power of the approach), presence of the input content (content preservation power of the approach) and fluency and grammatical correctness of the output sequences. To evaluate these dimensions, various automatic methods are applied which are further confirmed by conducting human evaluation tests. The performance of the style transfer systems reveals a trade-off between the evaluation aspects. This confirms the need of applying this comprehensive evaluation methodology and questions the approach taken in some previous researches where the focus is on one or two evaluation dimensions which can lead to neglecting the disregarded aspect(s). Our research firstly looks into the separation of style and content in chapters 4 and 5. To do so, different experiments are conducted to probe the latent space of a variety of adversarial RNN-based style-shift frameworks while considering sentiment and formality as the style domains. The main focus of these experiments is to investigate the presence of the source stylistic features, i.e. to analyse how these models encode style-related features in their latent spaces. The results which hold for the two style domains indicate that style cannot be totally separated from content. A series of experiments are then designed in chapter 5 to examine if the concept of style is consistent across different style domains. This includes experiments which focus on studying the correlation of style and content across the domains, as well as, studying the effect of modifying the latent space across different style domains. The findings indicate that in the case of sentiment there is a closer entanglement between style and content, as compared with formality domain where these elements are less entangled. Observing that the concept of style can vary across different domains shifts the attention of this study towards analysing how this variation is encoded. To explore the variations across the style domains, a number of experiments are conducted in chapter 6. This includes a series of probing classification tasks are performed to examine how different layers of encoders of adversarial transformer-based style transfer models encode the style of the input. Furthermore, some unigram-based experiments are conducted which further confirm the variations observed. The results indicate that formality is more globally encoded compared to the sentiment which is more locally encoded. Finally, a series of experiments look into the effect of emphasizing more on encoding the input on the style-shift power of the models across different style domains which is in line with previous results and implies that formality is a more complex style domain to be dealt with in style transfer scope as compared with sentiment. The findings of these experiments contribute to a better understanding of the style and highlight the question of how the characteristics of various style domains can affect framing the textual style transfer task. This open question is investigated as a final step by conducting some experiments in chapter 6 to illustrate how style characteristics of different styles should be considered when selecting evaluation methods. In particular, it focuses on the content preservation dimension and shows how it can be computed more effectively by considering the variation of the characteristics and encoding of style across the formality and sentiment domains.
Le concept de style linguistique indique que de nombreux aspects d'un texte peuvent varier tout en conservant la même signification sémantique de base. Par exemple, un message peut être écrit dans un style formel ou informel. Le problème du transfert de style textuel vise à générer une paraphrase d'un texte donné en modifiant son style tout en préservant son contenu. À notre connaissance, il n'existe pas, dans la littérature sur le transfert de style textuel, de définition standard largement acceptée du concept de style. En outre, très peu de travaux ont étudié les caractéristiques des styles linguistiques. Par conséquent, les recherches précédentes, à notre connaissance, n'ont pas pris en compte les variations des différents domaines de style textuel lorsqu'elles traitent de la tâche de transfert de style. Cette recherche étudie les caractéristiques de style spécifiques à un domaine en examinant la séparation du style et du contenu, ainsi que les variations de style entre les domaines et la manière dont ces variations sont encodées. En outre, elle examine les facteurs qui sont pertinents pour réaliser une évaluation complète des modèles de transfert de style textuel. La recherche utilise les domaines du sentiment et de la formalité. Divers cadres ont été employés comme modèles de transfert de style textuel tout au long des expériences menées dans le cadre du présent travail, où des réseaux tels que les RNN et les transformateurs sont utilisés comme encodeurs, décodeurs et discriminateurs. Ces modèles sont formés de manière non supervisée, c'est-à-dire que les données sont considérées comme non parallèles. La méthodologie expérimentale présente le transfert de style comme un problème multi-objectif, évaluant chaque approche à travers trois aspects des sorties de style générées : la présence du style cible (pouvoir de changement de style de l'approche), la présence du contenu de l'entrée (pouvoir de préservation du contenu de l'approche) et la fluidité et l'exactitude grammaticale des séquences de sortie. Pour évaluer ces dimensions, diverses méthodes automatiques sont appliquées et confirmées par des tests d'évaluation humaine. Les performances des systèmes de transfert de style révèlent un compromis entre les aspects de l'évaluation. Cela confirme la nécessité d'appliquer cette méthodologie d'évaluation globale et remet en question l'approche adoptée dans certaines recherches antérieures, où l'accent est mis sur une ou deux dimensions d'évaluation, ce qui peut conduire à négliger le(s) aspect(s) non pris en compte. Notre recherche porte tout d'abord sur la séparation du style et du contenu dans les chapitres 4 et 5. Pour ce faire, différentes expériences sont menées pour sonder l'espace latent d'une variété de cadres de changement de style basés sur des RNN adversaires en considérant le sentiment et la formalité comme domaines de style. L'objectif principal de ces expériences est d'étudier la présence des caractéristiques stylistiques sources, c'est-à-dire d'analyser la manière dont ces modèles encodent les caractéristiques liées au style dans leurs espaces latents. Les résultats obtenus pour les deux domaines stylistiques indiquent que le style ne peut être totalement séparé du contenu. Une série d'expériences est ensuite conçue au chapitre 5 pour examiner si le concept de style est cohérent dans les différents domaines stylistiques. Ces expériences portent sur l'étude de la corrélation entre le style et le contenu dans les différents domaines, ainsi que sur l'étude de l'effet de la modification de l'espace latent dans les différents domaines stylistiques. Les résultats indiquent que dans le cas du sentiment, l'enchevêtrement entre le style et le contenu est plus étroit que dans le domaine de la formalité, où ces éléments sont moins enchevêtrés. L'observation du fait que le concept de style peut varier d'un domaine à l'autre oriente l'attention de cette étude vers l'analyse de la manière dont cette variation est codée. Pour explorer les variations entre les domaines de style, un certain nombre d'expériences sont menées au chapitre 6. Il s'agit notamment d'une série de tâches de classification d'exploration visant à examiner comment les différentes couches d'encodeurs des modèles de transfert de style basés sur des transformateurs adverses encodent le style de l'entrée. En outre, certaines expériences basées sur les unigrammes sont menées et confirment les variations observées. Les résultats indiquent que la formalité est codée de manière plus globale que le sentiment, qui est codé de manière plus locale. Enfin, une série d'expériences examine l'effet de l'accent mis sur le codage de l'entrée sur le pouvoir de changement de style des modèles dans différents domaines stylistiques, ce qui est conforme aux résultats précédents et implique que la formalité est un domaine stylistique plus complexe à traiter dans le cadre du transfert de style par rapport au sentiment. Les résultats de ces expériences contribuent à une meilleure compréhension du style et mettent en évidence la question de savoir comment les caractéristiques des différents domaines de style peuvent affecter le cadrage de la tâche de transfert de style textuel. Cette question ouverte est étudiée dans une dernière étape en menant quelques expériences au chapitre 6 pour illustrer la manière dont les caractéristiques des différents styles devraient être prises en compte lors de la sélection des méthodes d'évaluation. En particulier, il se concentre sur la dimension de préservation du contenu et montre comment elle peut être calculée plus efficacement en tenant compte de la variation des caractéristiques et de l'encodage du style dans les domaines de la formalité et du sentiment.
Fichier principal
Vignette du fichier
Towards an improved understanding of the concept of style and its.pdf (1.18 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

tel-04460205 , version 1 (15-02-2024)

Licence

Attribution - NonCommercial - NoDerivatives

Identifiers

Cite

Somayeh Jafaritazehjani. Towards an improved understanding of the concept of style and its implications for textual style transfer. Computation and Language [cs.CL]. Technological University Dublin, 2023. English. ⟨NNT : ⟩. ⟨tel-04460205⟩
14 View
13 Download

Altmetric

Share

Gmail Facebook X LinkedIn More