Paradigm shift in data lake architectures : use of property graphs and data mesh architecture
Changement de paradigme dans les architectures de lacs de données : utilisation de graphes de propriétés et d’architecture data mesh.
Résumé
In the modern world data is considered to be a new, highly valuable asset that underpins the decision-making and innovation process. At the first glance, it is valuable for companies because it provides a way to evaluate the internal business processes, to find inefficiencies, and to improve the delivered services and products. Meanwhile, it is also valuable for research institutions that collect and analyze the data about the experiments or the world around, and thus enabling us to prove or to discard the theoretical proposals based on the practical validations and facts. Data can be represented in many forms: articles, messages, measurements, music, wave signals, etc; but generally it is characterized by having the large volume, different degree of veracity, changing creation velocity, variety of its forms, and ultimately hidden value that modern organizations try to extract from it.In this thesis, we focus on the development and enhancement of the decentralized data mesh platform that incorporates a data-as-a-product philosophy. More concretely, our efforts are dedicated to the theoretical formalization and practical implementation of the federated computational governance aspect of the data mesh which is still considered to be an unresolved issue as of today. To achieve that, we shift our attention away from the widely used data management techniques like centralized data catalogs or role-based authorization and look at the field that natively supports the decentralization mechanisms - we study the blockchain networks.Indeed, the application of the distributed blockchain ledger as a backbone for metadata management and policy enforcement looks attractive, but also very challenging. For these reasons, the first contribution of this thesis lays down the theoretical generalization of multiple data platform governance modes and the justification of using the ledger and smart contracts as core governance mechanisms. Furthermore, it outlines the operation and the integration of the advanced, cloud-native data orchestration framework with our blockchain-based metadata system which enables organizational scaling, data security and ownership. Consequently, we provide a proof-of- concept system and several real-world user scenarios that are used as a validation to our novel proposal.In the context of our second contribution, we attempt to improve the data discovery and product navigation process of the aforementioned federated metadata system by virtue of transforming the ledger records to the labelled property graph model. Since the graph databases are commonly used as a data cataloguing solution, it seems quite natural to maintain its benefits in regard to natural modeling, storage, and processing of the cross data product relationships. Hence, our main efforts are focused on retaining the advantages of both the blockchain and the graph data structures. As part of it, we propose the rules and algorithms that fulfill three required properties of the database mapping, that are: computability, semantic and information preservation. Additionally, we develop an implementation of the concurrent algorithm for generic and schema-dependent mapping and provide the benchmarking evaluation.The last part of this thesis is dedicated to the description of the global, end-to-end data mesh platform that is built upon our contributions. By succeeding in integration of the multiple systems, namely the federated blockchain-based governance, the customizable and extensible data processing platform, and user friendly data discovery interface, we demonstrate a novel solution that advances the current research in data platform architectures. The thesis concludes with achieved objectives, discusses the issues and challenges that are still faced by the scientific community, and proposes a future vision and planned actions on the way to resolving these questions.
Dans le monde moderne, les données sont considérées comme un nouvel actif de grande valeur qui sous-tend le processus de prise de décision et d’innovation. Elles sont précieuses pour les entreprises, car elles permettent d’évaluer les processus internes, de détecter les inefficacités et d’améliorer les services et les produits fournis. Par ailleurs, elle est également précieuse pour les instituts de recherche qui collectent et analysent les données relatives aux expériences ou au monde environnant, ce qui nous permet de prouver ou d’écarter les propositions théoriques sur la base de validations et de faits pratiques. Les données peuvent être représentées sous de nombreuses formes : articles, messages, mesures, musique, signaux d’ondes, etc. Mais elles se caractérisent généralement par leur volume important, leur degré de véracité différent, leur vitesse de création changeante, la variété de leurs formes et, en fin de compte, la valeur cachée que les organisations modernes tentent d’en extraire.Dans cette thèse, nous nous concentrons sur le développement et l’amélioration de la plateforme de data mesh décentralisée qui incorpore une philosophie de données en tant que produit. Plus concrètement, nos efforts sont consacrés à la formalisation théorique et à la mise en œuvre pratique de l’aspect de la gouvernance informatique fédérée de la maille de données, qui est toujours considérée comme une question non résolue à ce jour. Pour y parvenir, nous nous éloignons des techniques de gestion des données largement utilisées, telles que les catalogues de données centralisés ou les autorisations basées sur les rôles, et nous nous tournons vers le domaine qui supporte nativement les mécanismes de décentralisation - nous étudions les réseaux de blockchain. En effet, l’application du ledger distribué de la blockchain en tant que fondation pour la gestion des métadonnées et l’application des politiques semble attrayante, mais aussi très difficile. Pour ces raisons, la première contribution de cette thèse établit la généralisation théorique de multiples modes de gouvernance de plateformes de données et la justification de l’utilisation du ledger et des contrats intelligents comme mécanismes de gouvernance de base. En conséquence, nous fournissons un système de démonstration de faisabilité et plusieurs scénarios d’utilisation du monde réel qui sont utilisés pour valider notre nouvelle proposition. Dans le cadre de notre deuxième contribution, nous tentons d’améliorer le processus de découverte des données et de navigation dans les produits du système de métadonnées fédéré susmentionné en transformant les enregistrements du ledger en un modèle de graphe de propriété étiqueté. Étant donné que les bases de données de graphes sont couramment utilisées comme solution de catalogage de données, il semble tout à fait naturel de maintenir ses avantages en ce qui concerne la modélisation naturelle, le stockage et le traitement des relations entre les données et les produits. Par conséquent, nos principaux efforts se concentrent sur conserver les avantages de la blockchain et des structures de données graphiques. En outre, nous développons une algorithme concurrent pour le mappage générique et dépendant du schéma et fournissons une évaluation comparative.La dernière partie de cette thèse est consacrée à la description de la plateforme de data mesh globale et de bout en bout qui est construite sur la base de nos contributions. En réussissant l’intégration des multiples systèmes, à savoir la gouvernance fédérée basée sur la blockchain, la plateforme de traitement des données personnalisable et extensible, et l’interface conviviale de découverte des données, nous démontrons une nouvelle solution. La thèse conclut sur les objectifs atteints, discute des questions et des défis auxquels la communauté scientifique est toujours confrontée, et propose une vision future et des actions planifiées sur la voie de la résolution de ces questions.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
