Diffusive Limit Control and Reinforcement Learning
Contrôle par Limite Diffusive et Apprentissage par Renforcement
Résumé
We consider the diffusive limit of a generic pure-jump Markov control problem as the intensity of the driving Poisson process tends to infinity. We quantify the convergence speed in terms of the H"older exponent of the Hessian of the limit problem. We then explain how correction terms can be constructed for this limit approximation, according to two different methodologies. Our analysis covers the finite-horizon, discounted, and ergodic problems. In the ergodic case, we quantify the error induced by the use of the Markov control policy constructed from the numerical finite difference scheme associated with the limit diffusive problem. This approach permits a very significant reduction in numerical resolution cost for pure-jump control problems when the intensity of jumps is large.Considering the problem of uncertainty in control systems, we study these high-frequency pure-jump problems in the context of online Reinforcement Learning. Using the acrlong{OFU} paradigm, we leverage the eluder dimension framework for learning and lazy updates, as well as the diffusive limit for approximate resolution of the planning sub-problem. This extends existing theory from discrete processes to continuous states and actions. The use of tools for continuous-time stochastic processes also permits us to study a more generic class of coefficients than previous work.Our study of diffusion limit systems is motivated and illustrated by the bidding problem in a high-frequency online auction against a seller who maximises its revenue under the constraints of using a real-time update rule.
On considère la limite diffusive d'un problème de contrôle Markovien à sauts purs quelconque lorsque l'intensité de son processus de Poisson tend vers l'infini. On quantifie la vitesse de convergence en fonction de l'exposant de H"older de la Hessienne du problème limite. On montre ensuite comment construire des termes de correction pour cette approximation, selon deux méthodologies différentes. Notre analyse couvre le problème à horizon fini, escompté et ergodique. Dans le cas ergodique, on quantifie l'erreur induite par l'utilisation de la politique de contrôle Markovienne construite à partir du schéma numérique de différences finies associé au problème diffusif limite. Cette approche permet une réduction très significative du coût de résolution numérique des problèmes de contrôle à sauts purs lorsque l'intensité des sauts est grande.On s'attache ensuite au problème de l'incertitude dans les systèmes de contrôle, et on étend notre étude au contexte de l'apprentissage par renforcement en ligne. Dans le paradigme de l'optimisme devant l'incertain, on exploite le carcan de la dimension d'eluder pour gérer l'apprentissage et la limite diffusive pour résoudre approximativement le sous-problème de planification. Notre algorithme étend la théorie existante des problèmes discrets aux problèmes avec états et actions continus. L'utilisation d'outils issus de la théorie des processus stochastiques à temps continu nous permet également d'étudier une classe de coefficients plus générique que les travaux précédents.Notre étude des systèmes à limite diffusive est motivée et illustrée par le problème d'enchérir dans une enchère séquentielle à haute fréquence contre un vendeur qui maximise son revenu sous contrainte d'utiliser une règle de mise à jour en temps réel.
| Origine | Version validée par le jury (STAR) |
|---|