Numerical methods and deep learning for stochastic control problems and partial differential equations
Méthodes numériques et réseaux de neurones pour le contrôle stochastique et les équations aux dérivées partielles
Résumé
The present thesis deals with numerical schemes to solve Markov Decision Problems (MDPs), partial differential equations (PDEs), quasi-variational inequalities (QVIs), backward stochastic differential equations (BSDEs) and reflected backward stochastic differential equations (RBSDEs). The thesis is divided into three parts.The first part focuses on methods based on quantization, local regression and global regression to solve MDPs. Firstly, we present a new algorithm, named Qknn, and study its consistency. A time-continuous control problem of market-making is then presented, which is theoretically solved by reducing the problem to a MDP, and whose optimal control is accurately approximated by Qknn. Then, a method based on Markovian embedding is presented to reduce McKean-Vlasov control prob- lem with partial information to standard MDP. This method is applied to three different McKean- Vlasov control problems with partial information. The method and high accuracy of Qknn is validated by comparing the performance of the latter with some finite difference-based algorithms and some global regression-based algorithm such as regress-now and regress-later.In the second part of the thesis, we propose new algorithms to solve MDPs in high-dimension. Neural networks, combined with gradient-descent methods, have been empirically proved to be the best at learning complex functions in high-dimension, thus, leading us to base our new algorithms on them. We derived the theoretical rates of convergence of the proposed new algorithms, and tested them on several relevant applications.In the third part of the thesis, we propose a numerical scheme for PDEs, QVIs, BSDEs, and RBSDEs. We analyze the performance of our new algorithms, and compare them to other ones available in the literature (including the recent one proposed in [EHJ17]) on several tests, which illustrates the efficiency of our methods to estimate complex solutions in high-dimension.Keywords: Deep learning, neural networks, Stochastic control, Markov Decision Process, non- linear PDEs, QVIs, optimal stopping problem BSDEs, RBSDEs, McKean-Vlasov control, perfor- mance iteration, value iteration, hybrid iteration, global regression, local regression, regress-later, quantization, limit order book, pure-jump controlled process, algorithmic-trading, market-making, high-dimension.
La thèse porte sur les schémas numériques pour les problèmes de décisions Markoviennes (MDPs), les équations aux dérivées partielles (EDPs), les équations différentielles stochastiques rétrogrades (ED- SRs), ainsi que les équations différentielles stochastiques rétrogrades réfléchies (EDSRs réfléchies). La thèse se divise en trois parties.La première partie porte sur des méthodes numériques pour résoudre les MDPs, à base de quan- tification et de régression locale ou globale. Un problème de market-making est proposé: il est résolu théoriquement en le réécrivant comme un MDP; et numériquement en utilisant le nouvel algorithme. Dans un second temps, une méthode de Markovian embedding est proposée pour réduire des prob- lèmes de type McKean-Vlasov avec information partielle à des MDPs. Cette méthode est mise en œuvre sur trois différents problèmes de type McKean-Vlasov avec information partielle, qui sont par la suite numériquement résolus en utilisant des méthodes numériques à base de régression et de quantification.Dans la seconde partie, on propose de nouveaux algorithmes pour résoudre les MDPs en grande dimension. Ces derniers reposent sur les réseaux de neurones, qui ont prouvé en pratique être les meilleurs pour apprendre des fonctions en grande dimension. La consistance des algorithmes proposés est prouvée, et ces derniers sont testés sur de nombreux problèmes de contrôle stochastique, ce qui permet d’illustrer leurs performances.Dans la troisième partie, on s’intéresse à des méthodes basées sur les réseaux de neurones pour résoudre les EDPs, EDSRs et EDSRs réfléchies. La convergence des algorithmes proposés est prouvée; et ces derniers sont comparés à d’autres algorithmes récents de la littérature sur quelques exemples, ce qui permet d’illustrer leurs très bonnes performances.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...