Inferring and Predicting Dynamic Representations for Structured Temporal Data - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Inferring and Predicting Dynamic Representations for Structured Temporal Data

Inférence et prédiction de représentations dynamiques pour les données temporelles structurées

Résumé

Temporal data constitute a large part of data collected digitally. Predicting their next values is an important and challenging task in domains such as climatology, optimal control, or natural language processing. Standard statistical methods are based on linear models and are often limited to low dimensional data. We instead use deep learning methods capable of handling high dimensional structured data and leverage large quantities of examples. In this thesis, we are interested in latent variable models. Contrary to autoregressive models that directly use past data to perform prediction, latent models infer low dimensional vectorial representations of data on which prediction is performed. Latent vectorial spaces allow us to learn dynamic models that are able to generate high-dimensional and structured data. First, we propose a structured latent model for spatio-temporal data forecasting. Given a set of spatial locations where data such as weather or traffic are collected, we infer latent variables for each location and use spatial structure in the dynamic function. The model is also able to discover correlations between series without prior spatial information. Next, we focus on predicting data distributions, rather than point estimates. We propose a model that generates latent variables used to condition a generative model. Text data are used to evaluate the model on diachronic language modeling. Finally, we propose a stochastic prediction model. It uses the first values of sequences to generate several possible futures. Here, the generative model is not conditioned to an absolute epoch, but to a sequence. The model is applied to stochastic video prediction.
Les données temporelles constituent une partie importante des données digitales. Prévoir leurs prochaines valeurs est une tâche importante et difficile. Les méthodes statistiques standard sont fondées sur des modèles linéaires souvent limitées aux données de faible dimension. Ici, nous utilisons plutôt des méthodes d'apprentissage profond capables de traiter des données structurées en haute dimension. Dans cette thèse, nous nous intéressons aux modèles à variables latentes. Contrairement aux modèles auto-régressifs qui utilisent directement des données passées pour effectuer des prédictions, les modèles latents infèrent des représentations vectorielles qui sont ensuite prédites. Nous proposons d'abord un modèle latent structuré pour la prévision de données spatio-temporelles. Des variables latentes sont inférés à partir d'un ensemble de points dans l'espace où des données sont collectées (météo, trafic). Ensuite, la structure spatiale est utilisée dans la fonction dynamique. Le modèle est également capable de découvrir des corrélations entre des séries sans information spatiale préalable. Ensuite, nous nous intéressons à la prédiction des distributions de données. Nous proposons un modèle qui génère des variables latentes utilisées pour conditionner un modèle génératif. Les données textuelles sont utilisées pour évaluer le modèle sur la modélisation diachronique du langage. Enfin, nous proposons un modèle de prédiction stochastique. Il utilise les premières valeurs des séquences pour générer plusieurs futurs possibles. Ici, le modèle génératif n'est pas conditionné à une époque absolue, mais à une séquence. Le modèle est appliqué à la prédiction vidéo stochastique.
Fichier principal
Vignette du fichier
DELASALLES_Edouard_2020.pdf (10.06 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03402021 , version 1 (25-10-2021)

Identifiants

  • HAL Id : tel-03402021 , version 1

Citer

Edouard Delasalles. Inferring and Predicting Dynamic Representations for Structured Temporal Data. Machine Learning [cs.LG]. Sorbonne Université, 2020. English. ⟨NNT : 2020SORUS296⟩. ⟨tel-03402021⟩
68 Consultations
41 Téléchargements

Partager

Gmail Facebook X LinkedIn More