Towards Robust Deep Learning Methods for Time Series Data and their Applications
Vers des Méthodes Robustes d'Apprentissage Profond pour les Données de Séries Temporelles et leurs Applications
Résumé
Time series data is abundant in various fields including finance, energy, and social networks. Extracting knowledge from time series, to perform subsequent tasks such as forecasting, interpolation, and classification, has therefore become essential in several scientific and industrial domains. Deep Learning (DL) models, i.e., neural networks, have emerged as powerful tools in various data applications since they provide flexible methods for knowledge extraction and can easily learn from multiple sources of data. However, DL models typically require large datasets for improved generalization and often lack interpretability, thus their industrial application remains limited. Specifically for time series modeling, the adaptability of neural networks to the continuous-time dynamics of such data remains an open question. Additionally, neural networks’ origins in discrete sequential tasks, like text analysis, limit their understanding of complex time-dependent series properties. To bridge this gap, systematically assessing the effectiveness of DL architectures under diverse time series characteristics and distortions is crucial. Time series distortions encompass extrinsic factors, such as noisy observations and irregular sampling. Additionally, intrinsic features, such as strong inter- variable and inter-temporal correlations and prior knowledge (e.g., imposed constraints) of the underlying dynamics are prominent among different time series datasets. However, both extrinsic distortions and intrinsic characteristics pose significant challenges to the robust deep learning modeling of time series. The current study critically evaluates the performance of existing DL models across these challenges and also proposes new modeling approaches. Those include the design of loss functions for forecasting that are robust to noise, the extension of conventional neural architectures for irregular sampling and the development of algorithms that capture descriptive embeddings of complex temporal and inter-variable dependencies. Furthermore, our study includes applications to spatio-temporal data and dynamic systems with physics-informed models to leverage prior knowledge. Therefore, this thesis provides a comprehensive analysis of modern DL approaches for time series modeling and their limitations, along with some novel contributions. We hope that the topics explored along with the proposed methods, constitute promising avenues for significantly enhancing the robustness of time series neural and automatic modeling.
Les données de séries temporelles sont abondantes dans divers domaines, notamment la finance, l’énergie et les réseaux sociaux. L’extraction de connaissances à partir des séries temporelles, pour effectuer des tâches ultérieures telles que la prévision, l’interpolation et la classification, est donc devenue essentielle dans plusieurs domaines scientifiques et industriels. Les modèles d’apprentissage profond (deep learning - DL), c’est-à-dire les réseaux neuronaux, se sont révélés être des outils puissants dans diverses applications de données, car ils fournissent des méthodes flexibles pour l’extraction de connaissances et peuvent facilement apprendre à partir de sources de données multiples. Cependant, les modèles d’apprentissage profond nécessitent généralement de grands ensembles de données pour une meilleure généralisation et manquent souvent d’interprétabilité, de sorte que leur application industrielle reste limitée. En ce qui concerne plus particulièrement la modélisation des séries temporelles, l’adaptabilité des réseaux neuronaux à la dynamique à temps continu de ces données reste une question ouverte. En outre, l’origine des réseaux neuronaux dans des tâches séquentielles discrètes, comme l’analyse de texte, limite leur compréhension des propriétés complexes des séries dépendant du temps. Pour combler cette lacune, il est essentiel d’évaluer systématiquement l’efficacité des architectures DL en fonction de diverses caractéristiques et distorsions des séries temporelles. Les distorsions des séries temporelles englobent des facteurs extrinsèques, tels que des observations bruyantes et un échantillonnage irrégulier. En outre, les caractéristiques intrinsèques, telles que les fortes corrélations inter-variables et inter- temporelles et la connaissance préalable (contraintes imposées) de la dynamique sous-jacente, sont prédominantes parmi les différents ensembles de données de séries temporelles. Cependant, les distorsions extrinsèques et les caractéristiques intrinsèques posent des défis importants à la modélisation robuste des séries temporelles par l’apprentissage profond. L’étude actuelle évalue de manière critique la performance des modèles d’apprentissage profond existants face à ces défis et propose également de nouvelles approches de modélisation. Celles-ci comprennent la conception de fonctions de perte pour la prévision qui sont robustes au bruit, l’extension des architectures neuronales conventionnelles pour l’échantillonnage irrégulier et le développement d’algorithmes qui capturent des enchâssements descriptifs de dépendances temporelles et inter-variables complexes. En outre, notre étude comprend des applications aux données spatio-temporelles et aux systèmes dynamiques avec des modèles informés par la physique pour tirer parti des connaissances antérieures. Par conséquent, cette thèse fournit une analyse complète des approches modernes de DL pour la modélisation des séries temporelles et leurs limites, ainsi que quelques nouvelles contributions. Nous espérons que les sujets explorés ainsi que les méthodes proposées constituent des voies prometteuses pour améliorer de manière significative la robustesse de la modélisation automatique et neuronale des séries temporelles.
| Origine | Version validée par le jury (STAR) |
|---|