Some results on the McKean–Vlasov optimal control and mean field games - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Some results on the McKean–Vlasov optimal control and mean field games

Quelques résultats sur le contrôle optimal McKean-Vlasov et les jeux à champ moyen

Résumé

This thesis is formulated in three parts with eight chapters and presents a research topic dealing with controlled processes/particles/agents in interaction. In the first part of the dissertation, we focus our attention on the study of interacting controlled processes representing a cooperative equilibrium, also called Pareto equilibrium. A cooperative equilibrium can be seen as a situation where there is no way to improve the preference criterion of one agent without lowering the preference criterion of at least one other agent. It is now known that this kind of optimization problem is related, when the number of agents goes to infinity, to the optimal control of McKean–Vlasov processes. In the first three chapters of this thesis, we provide a precise mathematical answer to the connection between these two optimization problems in various frameworks improving the existing literature, in particular by taking into account the law of control while allowing a common noise situation. More precisely, in Chapter 2, we first give a weak formulation of the McKean–Vlasov optimal control with common noise and law of control, which is necessary to understand the optimization problem of McKean–Vlasov processes and to analyze the behavior of cooperative equilibria when the number of agents goes to infinity. With the help of this necessary weak formulation, using a notion of relaxed controls, in a non–Markovian framework with a common noise, a complete analysis of the convergence of (approximate) cooperative equilibria is given in Chapter 3. Some properties of the optima of the McKean–Vlasov optimal control problem are also proved. Then, we pursue in Chapter 4 the analysis of the convergence of cooperative equilibria in a case where the empirical distribution of controls is considered while allowing a common noise. Still using the weak formulation of Chapter 2, by introducing a notion of measure–valued controlled process motivated by the Fokker–Planck equation verified by the McKean–Vlasov processes, the characterization of the limits of the cooperative equilibria is provided within this framework similar to the Chapter 3. After studying the behavior of the cooperative equilibria, we conclude the first part in Chapter 5 where we spend times in the analysis of the limit problem i.e. the McKean–Vlasov optimal control, through the establishing of the Dynamic Programming Principle (DPP) for this stochastic control problem. Thanks to one more time the weak formulation of Chapter 2 and an adaptation of measurable selection arguments, we give a DPP for various forms of the McKean–Vlasov optimal control improving the existing literature in particular by considering weaker assumptions on the coefficients and reward functions. The second part of this thesis is devoted to the study of the interacting controlled processes now representing a Nash equilibrium, also called competitive equilibrium. A Nash equilibrium situation in a game is a situation in which no one has anything to gain by moving unilaterally from his own position. Since the pioneering works of Lasry and Lions [111] and Huang, Caines, and Malhamé [84], the behavior of Nash equilibria when the number of agents goes to infinity has been intensively studied and the associated limit game is known as Mean Field Games (MFG). In this second part, we analyze first the convergence of the competitive equilibrium to the MFG in a framework with the law of control and with control of volatility, then, the issue of the existence of MFG equilibrium in this context is studied. In Chapter 6, by adapting the techniques used to study the behavior of the cooperative equilibria, with the introduction of a new weak form of MFG equilibrium, that we coin measure–valued MFG equilibrium, and a notion of approximate strong MFG equilibrium, we explore the convergence of competitive equilibria by taking into account the empirical distribution of controls in a common noise case while controlling the non–common noise volatility. We finish this second part in Chapter 7 by proving existence results of the measure–valued MFG equilibrium. The proof is achieved by the use of a fixed point theorem, especially by Kakutani’s fixed point theorem. This existence result induces the existence of approximate Nash equilibrium and approximate strong MFG equilibrium. Finally, the last part which includes only Chapter 8, is dedicated to some numerical methods to solve the McKean–Vlasov limit problem. Inspired by the proof of the convergence of cooperative equilibrium, we give in Chapter 8 a numerical algorithm to solve the McKean–Vlasov optimal control problem and we prove its convergence. Then, we implement our algorithm using neural networks and test its efficiency on some application examples, namely the mean–variance portfolio selection, the inter–bank systemic risk model and the optimal liquidation with market impact.
Cette thèse est formulée en trois parties avec huit chapitres et présente un sujet de recherche traitant des particules/agents/ processus controllés en interactions. Dans la première partie de cette dissertation, nous portons notre attention sur l’étude de processus controllés en interaction représentant un équilibre coopératif, aussi appelé équilibre de Pareto. Un équilibre coopératif peut être vu comme une situation où il n’existe pas de moyen d’améliorer la préférence d’un agent sans rabaisser la préference d’au moins un autre agent. Il est maintenant bien connu que ce type de problème d’optimisation est lié, quand le nombre d’agents tend vers l’infini, au contrôle optimal de l’équation de McKean–Vlasov. Dans les trois premiers chapitres de cette thèse, nous donnons une réponse mathématique précise à la connection entre ces deux problèmes d’optimisation dans differents cadres améliorant la littérature existante, en particulier en prenant en compte la loi du contrôle tout en considérant un bruit commun. Plus précisement, dans le Chapitre 2, d’abord nous donnons une formulation faible du contrôle optimal de l’équation de McKean–Vlasov avec bruit commun et loi du contrôle, qui est nécessaire pour comprendre le problème d’optimisation de McKean–Vlasov and analyser le comportement des équilibres coopératifs quand le nompbre d’agents va vers l’infini. Grâce à cette indispensable faible formulation, en utilisant une notion de contrôle relaxé, dans un cadre non-Markovien avec bruit commun, une analyse complète de la convergence des équilibres coopératifs est donnée au Chapitre 3. Quelques propriétés des optima du problème de contrôle de McKean–Vlasov sont aussi prouvées. Ensuite, nous poursuivons dans le Chapitre 4 l’analyse de la convergence des équilibres coopératifs dans un cas où la distribution empirique des contrôles est considérée tout en permettant un bruit commun. Toujours en utilisant la formulation faible du Chapitre 2, en introduisant une notion de processus contrôlés à valeur mesure motivé par l’équation de Fokker-Planck vérifiée par les processus McKean-Vlasov, la caractérisation des limites des équilibres coopératifs est fournie dans ce cadre similaire au Chapitre 3. Après avoir étudié le comportement des équilibres coopératifs, nous concluons la première partie dans le Chapitre 5 où nous passons du temps à l’analyse du problème limite c’est à dire le contrôle optimal McKean–Vlasov, en établissant le Principe de Programmation Dynamique (PPD) pour ce problème de contrôle stochastique. Grâce une fois de plus à la formulation faible du Chapitre 2 et une adaptation des arguments de sélection mesurable, nous donnons un PPD pour différentes formes du contrôle optimal McKean–Vlasov améliorant la littérature existante notamment en considérant des hypothèses plus faibles sur les coefficients et les fonctions de récompense. La seconde partie de cette thèse est consacrée à l’étude des processus contrôlés en interaction représentant désormais un équilibre de Nash, également appelé équilibre compétitif. Une situation d’équilibre de Nash dans un jeu est une situation dans laquelle personne n’a rien à gagner en quittant unilatéralement sa propre position. Depuis les travaux pionniers de Lasry and Lions [111] et Huang, Caines, and Malhamé [84], le comportement des équilibres de Nash lorsque le nombre d’agents va à l’infini a été intensivement étudié et le jeu limite associé est connu sous le nom de jeux à champ moyen MFG). Dans cette seconde partie, nous analysons d’abord la convergence des équilibres compétitifs vers les MFG dans un cadre avec la loi de contrôle et avec le contrôle de la volatilité, puis, la question de l’existence de l’équilibre MFG dans ce contexte est étudiée. Dans le Chapitre 6, en adaptant les techniques utilisées pour étudier le comportement des équilibres coopératifs, avec l’introduction d’une nouvelle forme faible d’équilibre MFG, que nous nommons equilibre MFG à valeur mesure, et une notion d’équilibre MFG fort approximatif, nous explorons la convergence des équilibres compétitifs en prenant en compte la distribution empirique des contrôles dans un cas de bruit commun tout en contrôlant la volatilité non commune. Nous terminons cette seconde partie dans le Chapitre 7 en prouvant des résultats d’existence de l’équilibre MFG à valeur mesure. La preuve est obtenue par l’utilisation d’un théorème de point fixe, en particulier par le théorème de point fixe de Kakutani. Ce résultat d’existence induit ’existence d’un équilibre de Nash approximatif et d’un équilibre MFG fort approximatif. Enfin, la dernière partie qui ne comprend que le Chapitre 8, est dédiée à quelques méthodes numériques pour résoudre le problème de contôle de McKean-Vlasov. Inspiré de la preuve de la convergence d’équilibre coopératif, nous donnons dans le Chapitre 8, un algorithme numérique pour résoudre le problème de contrôle optimal McKean-Vlasov et nous prouvons sa convergence. Ensuite, nous implémentons notre algorithme à partir des réseaux de neurones et testons son efficacité sur quelques exemples d’application, à savoir la sélection de portefeuille par moyenne-variance, le modèle de risque systémique interbancaire et la liquidation optimale avec impact de marché.
Fichier principal
Vignette du fichier
Manuscript_Thesis (1).pdf (2.27 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03142198 , version 1 (22-02-2021)

Identifiants

  • HAL Id : tel-03142198 , version 1

Citer

Mao Fabrice Djete. Some results on the McKean–Vlasov optimal control and mean field games: Limit theorems, dynamic programming principle and numerical approximations. Mathematics [math]. Université Paris Dauphine, 2020. English. ⟨NNT : ⟩. ⟨tel-03142198⟩

Collections

X INSMI IP_PARIS
372 Consultations
135 Téléchargements

Partager

Gmail Facebook X LinkedIn More