Learning neural representation for time series
Apprentissage de représentations neuronales pour les séries temporelles
Résumé
Time series analysis has become increasingly important in various fields, including industry, finance, and climate science. The proliferation of sensors and the data heterogeneity necessitate effective time series modeling techniques. While complex supervised machine learning models have been developed for specific tasks, representation learning offers a different approach by learning data representations in a new space without explicitly focusing on solving a supervised task. The learned representation is then reused to improve the performance of supervised tasks applied on top of it. Recently, deep learning has transformed time series modeling, with advanced models like convolutional and attention-based neural networks achieving state-of-the-art performance in classification, imputation, or forecasting. The fusion of representation learning and deep learning has given rise to the field of neural representation learning. Neural representations have a greater ability to extract intricate features and patterns compared to non-neural representations, making them more powerful and effective in handling complex time series data. Recent advances in the field have significantly improved the quality of time series representations, enhancing their usefulness for various downstream tasks. This thesis focuses on advancing the field of neural representation learning for time series, targeting both industrial and academic needs. This research addresses open problems in the domain, such as creating interpretable neural representations, developing continuous time series representations that handle irregular and unaligned time series, and creating adaptable models for distribution shifts. This manuscript offers multiple contributions to tackle the previously mentioned challenges in neural representation learning for time series.- First, we propose an interpretable discrete neural representation model for time series based on a vector quantization encoder-decoder architecture, which facilitates interpretable classification.- Secondly, we design a continuous implicit neural representation model, called TimeFlow, for time series imputation and forecasting that can handle unaligned and irregular samples. This model leverages time series data representation, enabling it to adapt to new samples and unseen contexts by adjusting the representations.- Lastly, we demonstrate that TimeFlow learns relevant features, making the representation space effective for downstream tasks such as data generation.These contributions aim to advance the field of neural representation learning for time series and provide practical solutions to real-world industrial challenges.
L'analyse des séries temporelles est cruciale dans divers domaines tels que l'industrie, la finance et la science du climat. La prolifération des capteurs et l'hétérogénéité croissante des données nécessitent des techniques efficaces de modélisation des séries temporelles. Alors que des modèles complexes d'apprentissage automatique supervisé ont été développés pour des tâches spécifiques, l'apprentissage de représentation offre une approche différente en apprenant des représentations des données dans un nouvel espace sans se concentrer explicitement sur une tâche particulière. Par la suite, les représentations extraites sont ré-utilisées pour améliorer les performances des tâches supervisées en aval. Récemment, l'apprentissage profond a révolutionné la modélisation des séries temporelles, avec des modèles tels que les réseaux de neurones convolutifs et les réseaux basés sur les mécanismes d'attention. Ces modèles atteignent des performances à l'état de l'art pour les tâches de classification, d'imputation ou encore de prévision. La fusion de l'apprentissage de représentation et de l'apprentissage profond a donné naissance au domaine de l'apprentissage de représentation neuronale. Les représentations neuronales pour les séries temporelles, comparées aux représentations non neuronales, possèdent une meilleure capacité à extraire des caractéristiques complexes au sein d'un nouvel espace structuré. Les progrès récents dans ce domaine ont considérablement amélioré la qualité des représentations des séries temporelles, améliorant ainsi leurs utilités pour les tâches en aval. Cette thèse vise à contribuer au domaine de l'apprentissage des représentations neuronales pour les séries temporelles, en ciblant à la fois les besoins industriels et académiques. Ce manuscrit aborde des problèmes ouverts dans le domaine, tels que la construction de représentations neuronales interprétables, le développement de modèles de représentations continues capables d'apprendre à partir de séries temporelles irrégulières et non alignées, ainsi que la création de modèles adaptés pour les changements de distribution. Ce manuscrit propose plusieurs contributions pour relever les défis mentionnés ci-dessus.- Premièrement, nous proposons un modèle de représentation neuronale discrète et interprétable pour les séries temporelles, basé sur une architecture encoder-decoder avec un mécanisme de discrétisation.- Deuxièmement, nous concevons un modèle continu en temps de représentation neuronale implicite pour l'imputation et la prévision des séries temporelles qui peut traiter des échantillons non alignés et irréguliers. Ce modèle se base sur des représentations modulables, ce qui lui permet de s'adapter à de nouveaux échantillons et à des contextes inédits en ajustant les représentations.- Enfin, nous démontrons que le modèle proposé ci-dessus apprend des caractéristiques pertinentes, créant un espace de représentation structuré et efficace pour des tâches en aval telle que la génération de données synthétiques.
| Origine | Version validée par le jury (STAR) |
|---|