Deep learning solutions to some prediction problems in finance
Solutions d’apprentissage profond à quelques problèmes de prédiction en finance
Résumé
This thesis consists of two connected parts that examen respectively two prediction problems in finance, stock return prediction and short-term volatility prediction. It also has another additional part which examens a related issue in contemporary artists connection discovery with some methods derived from the two first parts.In the first part, we present a univariate and a multivariate deep learning solution to the problem of stock return prediction with financial news. We first introduce a univariate prediction procedure that predicts the short-term return of a stock after the publication of news associated with this stock (Chapter 2). In this procedure, we first use a transfer learning based method to generate contextualized embeddings of the words in a news’ headline, a recurrent neural network is then used to make predictions from the generated embeddings. Through extensive experiments, we show that this approach outperforms other baseline models. We then extend our univariate approach to a multivariate model (Chapter 3), in which a single news can not only impact one stock but also all other related stocks. Through an innovative multi-graph convolutional network structure, we can model the information transmission process from one stock to others based on stock relationships built from different sources. We demonstrate the effectiveness of this approach with a similar experiment setup as the first study.In the second part of this thesis, we are interested in predicting short-term realized volatility from limit order book with a multivariate model (Chapter 4). To achieve this goal, we design a graph neural network containing both temporal and cross-sectional relations. Graph transformer operators are integrated into the model for better accuracy and computing efficiency on this large graph. Through experiments based on more than 500 stocks, we demonstrate that a graph-based multivariate approach has better predictive power than commonly used univariate baselines.In the third part, we introduce a solution to discovering the relations among the contemporary artists through their biographies (Chapter 5). For this purpose, we design a general NLP framework, in which we first continue to pre-train an existing general language model with unlabeled art-related texts. We then fine-tune this new pre-trained model with labeled biography pairs. We demonstrate that our approach achieves more than 85% accuracy in identifying the connection between two artists and outperforms other baseline models in the experiments.
Cette thèse est composée de deux parties connectées qui examinent respectivement deux problèmes de prédictions en finance: la prédiction du rendement des actions et la prédiction de la volatilité réalisée court terme des actions. Une dernière partie additionnelle est consacré à résoudre un problème de découverte des relations parmi les artistes contemporains, avec quelques méthodes dérivées de deux premières parties.Dans la première partie, nous présentons une solution univariée et une solution multivariée pour le problème de la prédiction du rendement des actions avec les nouvelles financières. Nous introduisons d'abord une procédure de prédiction univariée qui prédit le rendement court terme d'une action après la publication d'une nouvelle qui l'associe (Chapitre 2). Dans cette procédure, nous appliquons d'abord une méthode d'apprentissage par transfert pour générer les embeddings contextualisés des mots dans le titre d'une nouvelle. Nous utilisons ensuite un réseau neurones récurrent pour faire la prédiction à partir des embeddings générés. Avec les expériences extensives, il est démontré que cette approche possède une meilleure performance par rapport aux autres modèles de référence. Nous étendons ensuite notre approche univariée à un modèle multivarié (Chapitre 3), dans lequel une nouvelle peut non seulement impacter la cour d'une action mais aussi toutes les autres actions associées par les relations venant de différentes sources. Nous modélisons cet effet de transmission à l'aide d'une structure innovative de réseau neurones convolutif en multi-graphe. Nous démontrons l'efficacité de ce modèle avec les expériences similaires à celles dans la première étude.Dans la seconde partie de cette thèse, nous nous intéressons à la prédiction multivariée de la volatilité réalisée court terme des actions avec les carnets d'ordre (Chapitre 4). Pour cette étude, nous désignons un réseau neurones en graphe qui prend en compte les relations temporelles et cross-sectionnelles en même temps. Nous intégrons les opérateurs de transformeur en graphe dans le modèle pour améliorer la précision et l'efficacité de calcul sur ce grand graphe. Avec les expériences sur plus de 500 actions, nous prouvons que cette méthode multivariée en graphe a une meilleure performance que les modèles de référence univariés dans la littérature.Dans la troisième partie, nous introduisons une solution pour découvrir les relations parmi les artistes contemporains avec leurs biographies (Chapitre 5). Dans ce but, nous créons un modèle dans lequel nous continuons d'abord à entraîner un modèle de langage général avec les textes de l'art non-labélisés. Nous affinons ensuite le nouveau modèle avec les paires de biographes labélisées. Il est démontré que notre approches atteint plus de 85% en taux de précision en identification de connexion entre deux artistes, et qu'il surpasse les modèles de référence dans les expériences.
Domaines
Logiciel mathématique [cs.MS]| Origine | Version validée par le jury (STAR) |
|---|