Thèse Année : 2025

Sequential measure transport for density estimation

Transport séquentiel de mesure pour l'estimation de densité

Résumé

Density estimation is a widespread problem in science and engineering, necessary for tasks such as anomaly detection, reliability engineering, risk assessment, and many more. Key challenges for making density estimation more widely applicable is high dimensionality and multimodal densities. A framework which allows both to estimate a density as well as to efficiently generate samples from it is measure transport via transport maps. In this thesis, we consider transport maps that deterministically couple two densities via a bijective transformation, typically between a fully know reference density and a target density to be estimated. Full knowledge of the reference density together with the explicit representation of the transport map then gives access to the estimated density and permits to generate samples of it for free. This thesis consists of 4 contributions. First, we develop transport maps constructed from previous learned Sum-of-Squares (SoS) densities. We show how such maps can be constructed using the Knothe-Rosenblatt (KR) rearrangement, hence we name these maps KR SoS maps. SoS densities are linear in their parameters so that learning them via convex losses such as $\alpha$-divergences, a class of divergences including the widely used Kullback-Leibler (KL) divergence and Hellinger distance, results in convex optimization problems. We estimate the $\alpha$-divergences using an importance sampling procedure and show how to construct SoS densities to ensure that the $\alpha$-divergence and its estimator are well defined, making it feasible to use $\alpha$-divergences. For our second contribution, we study the estimation errors of sequences of transport maps iteratively built by a sequence of bridging densities, which are densities guiding from the reference to the target density. We study the convergence of this construction when each of the transport maps are learned via $\alpha$-divergences. Then, we implement this procedure for the KR SoS maps from the first part and apply it for density estimation both from data, assumed to be independently distributed from a distribution, as well as for tasks such as variational inference. Third, we apply the previously proposed methodology to calibrate an eddy-diffusivity mass-flux (EDMF) ocean-surface parametrization. The EDMF parametrization describes effects of strong surface heat flux on a column of the ocean using a one-dimensional model, by describing the dynamics of plumes due to the heat flux. We calibrate the parameters describing the dynamics of these plumes by using reference data from a large eddy simulator. We use a Bayesian calibration approach and we estimate the posterior density using sequential compositions of SoS KR maps. Finally, our last and more exploratory contribution is concerned with the application of sequential measure transport to optimal transport (OT). We formulate the estimation of the OT plan as a density estimation problem where we use regularized OT as bridging densities. We propose two different ways of doing this, first directly via regularized OT and second, via regularization to the previous estimation of the sequential estimation. We show that, for entropic regularization specifically, these two methods yield identical results. We explore computational applications of these results, by utilizing it in large scale OT and applying sparsity to the iterations.

L’estimation de densité est un problème répandu en science et en ingénierie, essentiel pour des tâches telles que la détection d’anomalies, l’ingénierie de la fiabilité, l’évaluation des risques, et bien d’autres. Les défis majeurs pour rendre l’estimation de densité plus largement applicable sont la haute dimensionnalité et les densités multimodales. Un cadre permettant à la fois d’estimer une densité et de générer efficacement des échantillons à partir de celle-ci est le transport de mesures via des transport maps. Dans cette thèse, nous considérons des transport maps qui couplent de manière déterministe deux densités par une transformation bijective, généralement entre une densité de référence parfaitement connue et une densité cible à estimer. La connaissance complète de la densité de référence, combinée à la représentation explicite de la transport map, permet d’accéder à la densité estimée et de générer des échantillons de celle-ci sans coût supplémentaire. Cette thèse se compose de quatre contributions. Premièrement, nous développons des transport maps construites à partir de densités Sum-of-Squares (SoS) préalablement apprises. Nous montrons comment de telles cartes peuvent être construites en utilisant le réarrangement de Knothe-Rosenblatt (KR), d’où leur nom de KR SoS maps. Les densités SoS sont linéaires en leurs paramètres, de sorte que leur apprentissage via des pertes convexes telles que les $\alpha$-divergences -- une classe de divergences incluant la divergence de Kullback-Leibler (KL) et la distance de Hellinger -- conduit à des problèmes d’optimisation convexes. Nous estimons les $\alpha$-divergences à l’aide d’une procédure d’échantillonnage par importance et montrons comment construire des densités SoS pour garantir que la $\alpha$-divergence et son estimateur soient bien définis, rendant ainsi leur utilisation réalisable. Pour notre deuxième contribution, nous étudions les erreurs d’estimation de séquences de transport maps construites itérativement à partir d’une suite de densités de pont (bridging densities), qui guident de la densité de référence vers la densité cible. Nous analysons la convergence de cette construction lorsque chacune des transport maps est apprise via des $\alpha$-divergences. Nous implémentons ensuite cette procédure pour les KR SoS maps de la première partie et l’appliquons à l’estimation de densité, à la fois à partir de données supposées indépendamment distribuées, et pour des tâches telles que l’inférence variationnelle. Troisièmement, nous appliquons la méthodologie proposée précédemment pour calibrer une paramétrisation de type eddy-diffusivity mass-flux (EDMF) de la surface océanique. La paramétrisation EDMF décrit les effets d’un fort flux de chaleur de surface sur une colonne océanique à l’aide d’un modèle unidimensionnel, en modélisant la dynamique des panaches dus au flux de chaleur. Nous calibrons les paramètres décrivant la dynamique de ces panaches en utilisant des données de référence issues d’un simulateur de tourbillons à grande échelle. Nous adoptons une approche bayésienne de calibration et estimons la densité a posteriori à l’aide de compositions séquentielles de SoS KR maps. Enfin, notre dernière contribution, plus exploratoire, porte sur l’application du transport séquentiel de mesures au transport optimal (OT). Nous formulons l’estimation du plan de transport optimal comme un problème d’estimation de densité, où nous utilisons le transport optimal régulé comme densités de pont. Nous proposons deux approches distinctes : la première directement via le transport optimal régulé, et la seconde via une régularisation de l’estimation séquentielle précédente. Nous montrons que, pour la régularisation entropique en particulier, ces deux méthodes produisent des résultats identiques. Nous explorons des applications computationnelles de ces résultats, en les utilisant dans le cadre de transport optimal à grande échelle et en appliquant la parcimonie aux itérations.

Fichier principal
Vignette du fichier
main.pdf (60.12 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

tel-05373199 , version 1 (19-11-2025)

Licence

Identifiants

  • HAL Id : tel-05373199 , version 1

Citer

Benjamin Zanger. Sequential measure transport for density estimation. Statistics [math.ST]. Inria Grenoble Rhône-Alpes, Université de Grenoble, 2025. English. ⟨NNT : ⟩. ⟨tel-05373199⟩
457 Consultations
30 Téléchargements

Partager

  • More