Machine learning over spaces of measures : invariant deep networks and quantile regression - Archive ouverte HAL Access content directly
Theses Year : 2020

Machine learning over spaces of measures : invariant deep networks and quantile regression

Apprentissage sur l’espace des mesures : réseaux profonds invariants et régression de quantile

(1)
1

Abstract

This thesis proposes theoretical and numerical contributions to perform machine learning and statistics over the space of probability distributions. In a first part, we introduce a new class of neural network architectures to process probability measures in their Lagrangian form (obtained by sampling) as both inputs and outputs, which is characterized by robustness and universal approximation properties. We show that this framework can be adapted to perform regression on probability measure inputs, with customized invariance requirements, in a way that preserves its robustness and approximation capabilities. This method is proven to be of interest to design expressive, adaptable summaries of datasets referred to as “meta-features”, in the context of automated machine learning. In a second part, we demonstrate that the resort to entropy eases the computation of conditional multivariate quantiles. We introduce the regularized vector quantile regression problem, provide a scalable algorithm to compute multivariate quantiles and show that it benefits from desirable asymptotic properties.
Cette thèse propose des contributions théoriques et numériques pour effectuer des tâches d’apprentissage et de statistiques sur l’espace des mesures. Dans une première partie, nous introduisons une nouvelle classe de réseaux neuronaux qui traite les mesures de probabilité sous leur forme lagrangienne (obtenue par échantillonnage) à la fois comme entrées et sorties, qui se caractérise par sa robustesse et ses propriétés d'approximation universelle. Nous montrons que ce cadre peut être adapté pour effectuer des tâches de régression avec invariances additionnelles, dont les entrées sont des mesures de probabilité, en préservant sa robustesse et ses capacités d'approximation. Cette méthode permet de concevoir des résumés expressifs et adaptables de bases de données appelés « meta-features », dans le contexte de l'apprentissage automatisé. Dans une seconde partie, nous montrons que le recours à l'entropie facilite le calcul des quantiles conditionnels multivariés. Nous introduisons le problème de régression de quantile vectoriel régularisé, fournissons un algorithme efficace pour calculer les quantiles multivariés et montrons qu'il bénéficie de propriétés asymptotiques souhaitables.
Fichier principal
Vignette du fichier
De_Bie_2020_These.pdf (5.03 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03659503 , version 1 (05-05-2022)

Identifiers

  • HAL Id : tel-03659503 , version 1

Cite

Gwendoline de Bie. Machine learning over spaces of measures : invariant deep networks and quantile regression. General Mathematics [math.GM]. Université Paris sciences et lettres, 2020. English. ⟨NNT : 2020UPSLE072⟩. ⟨tel-03659503⟩
92 View
42 Download

Share

Gmail Facebook Twitter LinkedIn More