Causal discovery from heterogeneous time series with application to IT monitoring data
Découverte causale à partir de séries temporelles hétérogènes avec application aux données de surveillance informatique
Résumé
This thesis explores the topic of causal discovery from heterogeneous time series.Following a review of fundamental concepts and algorithms, this thesis first introduces CMIh, a method leveraging (conditional) mutual information to assess (conditional) independence among heterogeneous type variables, encompassing both qualitative and quantitative data. Using this estimator, a new local permutation test is introduced, LocAT (Local Adaptive Test), tailored for heterogeneous variables. Experiments demonstrate that CMIh and LocAT effectively estimate conditional mutual information and detect conditional (in)dependence for heterogeneous variables. Additionally, an integration of LocAT into PCMCI, a constraint-based causal discovery method for time series, is presented. Testing on real IT monitoring data, including system logs from the company, reveals that incorporating a broader range of variables, particularly heterogeneous ones, enhances causal relation discovery and improves system understanding.Next, a structural causal model to represent event-based causal mechanisms in threshold-based IT systems is presented, alongside a novel algorithm, T-RCA, for quickly detecting root causes of anomalies. This method is proven effective when root causes are not causally related, and an extension involving agent intervention is proposed to address this assumption. The algorithm and its agent-based extension utilize causal discovery from offline data and apply subgraph traversal for new anomalies in online data. Extensive testing indicates that these methods outperform others, even with data from alternative structural causal models or real IT monitoring data.Lastly, the issue of time series displaying multiple piecewise consistent regimes, each with distinct causal mechanisms, is tackled. The method, regime-CBNB-w is proposed to partition the time series into appropriate regimes and identify the correct window causal graph, incorporating both instantaneous and lagged connections within each regime. Theoretical analysis supports that the reconstructed window causal graphs within each regime converge to the true graph and that the assignment of times-tamps converges to the ground truth. Experiments with synthetic data confirm the method's effectiveness in assigning timestamps to the correct regimes and uncovering the accurate window causal graph within each regime.
Cette thèse explore le sujet de la découverte causale à partir de séries temporelles hétérogènes.Après une revue des concepts et algorithmes fondamentaux, cette thèse présente tout d'abord CMIh, une méthode exploitant l'information mutuelle (conditionnelle) pour évaluer l'indépendance (conditionnelle) entre des variables de types hétérogènes, englobant à la fois des données qualitatives et quantitatives. En utilisant cet estimateur, un nouveau test de permutation local est introduit, LocAT (Local Adaptive Test), adapté aux variables hétérogènes. Les expériences démontrent que CMIh et LocAT estiment efficacement l'information mutuelle conditionnelle et détectent l'(in)dépendance conditionnelle pour des variables hétérogènes. De plus, une intégration de LocAT dans PCMCI, une méthode de découverte causale basée sur les contraintes pour les séries temporelles, est présentée. Les tests sur des données réelles de surveillance informatique, y compris des journaux système de l'entreprise, révèlent qu'incorporer une gamme plus large de variables, en particulier hétérogènes, améliore la découverte des relations causales et la compréhension du système.Ensuite, un modèle causal structurel pour représenter les mécanismes causaux basés sur les événements dans les systèmes informatiques basés sur des seuils est présenté, ainsi qu'un nouvel algorithme, T-RCA, pour détecter rapidement les causes racines des anomalies. Cette méthode s'avère efficace lorsque les causes racines ne sont pas liées causalement, et une extension impliquant l'intervention d'agents est proposée pour traiter cette hypothèse. L'algorithme et son extension basée sur les agents utilisent la découverte causale à partir de données hors ligne et appliquent la traversée de sous-graphes pour les nouvelles anomalies dans les données en ligne. Des tests approfondis indiquent que ces méthodes surpassent les autres, même avec des données provenant de modèles causaux structurels alternatifs ou de données réelles de surveillance informatique.Enfin, la question des séries temporelles affichant plusieurs régimes cohérents en morceaux, chacun avec des mécanismes causaux distincts, est abordée. La méthode, regime-CBNB-w, est proposée pour partitionner les séries temporelles en régimes appropriés et identifier le graphe causal de fenêtre correct, incorporant à la fois des connexions instantanées et décalées dans chaque régime. Une analyse théorique soutient que les graphes causaux de fenêtre reconstruits dans chaque régime convergent vers le graphe véritable et que l'affectation des horodatages converge vers la vérité terrain. Les expériences avec des données synthétiques confirment l'efficacité de la méthode à affecter les horodatages aux régimes corrects et à découvrir le graphe causal de fenêtre précis dans chaque régime.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
