Adaptive Scalable Online Learning for Handling Heterogeneous Streaming Data in Large-Scale Banking Infrastructure
Modélisation et Industrialisation de Solutions d'Intelligence Artificielle pour des Flux de Données Hétérogènes Issues de Système d'Information Bancaire
Résumé
Artificial Intelligence (AI) is a powerful tool to extract valuable insights for decision-making. However, learning from heterogeneous and unstructured streaming data presents a multitude of challenges that this research aims to tackle. The creation of big data is projected to experience exponential growth, with expectations to surpass 2,000 zettabytes by the year 2035. Such Big Data highlights the importance of efficient, incremental, and adaptive models. Online Learning, known as Streaming Machine Learning (SML), is a dynamic technique for building and updating learning models as new data arrive, without the need for periodic complete model replacement. It is the most efficient technique for big data stream learning. The change detection task is a proactive way to detect and prevent critical events such as cyber-attacks, fraud detection, or IT incidents in an online fashion. The research conducted during this thesis aims to develop adaptive and scalable online machine-learning solutions to learn from heterogeneous streaming data that can be operationalized with large-scale infrastructures, particularly in the banking sector. This Ph.D. thesis delves into algorithmic and infrastructure challenges related to continuous training and serving online machine learning over high-velocity streaming data from diverse sources, specifically focusing on large-scale IT infrastructures (AIOps). Thesis contributions include techniques like StreamFlow for summarizing information from big data streams, Stream2Graph for dynamically building and updating knowledge graphs for batch and online learning tasks, and StreamChange, an efficient and explainable online change detection model. Evaluation results on real-world open data and industrial data demonstrate performance improvements in learned models. StreamChange surpasses state-ofthe-art techniques in detecting gradual and abrupt changes. Additionally, the thesis introduces a conceptual framework, StreamMLOps, for scaling and serving online machine learning in real-time without pausing the inference pipeline. This framework showcases the effectiveness of the proposed MLOps pipeline on a feature-evolving dataset with millions of dimensions for malicious event detection tasks. Finally, we share lessons learned regarding Streaming Machine Learning systems, AI at scale, and online model management in large-scale banking, with a focus on streaming data and real-time applications.
L'intelligence artificielle (IA) est une technique puissante pour créer de la valeur et améliorer la prise de décisions. Les volumes de données générés devraient connaître une croissance exponentielle, avec des projections dépassant les 2 000 zettaoctets d'ici 2035, soulignant l'importance de l'apprentissage incrémental et des modèles scalables pour le ”Big ` Data”. L'apprentissage et l'entraînement continus des modèles d'IA, connus sous le nom de Streaming ` Machine Learning (SML), sont des approches efficaces permettant de construire et de mettre à jour des modèles d'intelligence artificielle au fur et à mesure de l'arrivée de nouvelles données, sans avoir besoin de remplacer périodiquement le modèle complet. La détection des changements de comportement en temps réel est une solution pertinente pour détecter des évènements critiques et à diverses applications telles que la détection de fraudes, de cyberattaques ou de déviations dans les systèmes d'information. Les travaux de cette recherche visent donc à résoudre les défis algorithmiques et d'infrastructure liés aux modèles d'IA à apprentissage continu et à l'industrialisation des modèles dynamiques sur des flux de données issus de sources diverses. Les contributions de cette thèse incluent StreamFlow pour résumer des flux de données massives, Stream2Graph pour construire et mettre à jour dynamiquement des graphes de connaissances, et StreamChange pour détecter et expliquer des déviations ou changements de comportement en temps réel. Les expériences sur des données réelles démontrent que notre modèle StreamChange détecte mieux les changements graduels et brusques que les modèles de l'état de l'art. Enfin, la thèse introduit une architecture, StreamM- ` LOps, pour l'apprentissage en ligne et l'industrialisation des modèles, évaluée sur des données dynamiques contenant des millions de variables pour la détection en ligne d'évènements malveillants. Nous concluons par un retour d'expérience sur la mise en production et la maintenance des modèles évolutifs (SML) pour des applications de temps réel en banque.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
