Thèse Année : 2025

Integrity over Streams

L'intégrité des flux de données

Résumé

Data quality is crucial in modern data management, ensuring accuracy, consistency, completeness, and reliability. While static databases handle integrity well, streaming environments require real-time validation to prevent inaccuracies from propagating. This thesis explores streaming integrity, defining it as adherence to predefined constraints. In real-time applications like financial trading and electricity monitoring, anomalies can indicate malfunctions or proper activation of automated backup systems. Addressing such cases requires detecting and annotating inconsistencies rather than modifying or discarding erroneous data. The thesis presents three key contributions: InkStream for evaluating continuous queries with inconsistency annotations, a semiring-based approach for continuous query provenance, and a study on the Event Processing Language (EPL). InkStream introduces a framework for annotating inconsistencies in continuous queries, adapting provenance methods to dynamic streaming environments through polynomial semirings. The approach integrates window-specific modifications to ensure computational feasibility. A key innovation is the Consistency Graph Summary, optimizing annotation propagation using transitivity properties of binary constraints, reducing complexity. A streaming-positive algebra extends operations to support consistency annotations in relational streams. Evaluations show up to 80% performance improvement and minimal runtime overhead. The thesis also introduces When-Provenance, extending provenance models with time intervals for tracking data derivations. Window operators divide infinite streams into finite segments. Selecting optimal window sizes is challenging, as small windows omit relevant data, while large ones increase memory usage. The framework employs interval-based semirings, leveraging balanced binary search trees and 2D orthogonal range counting for rapid query recomputation, enhancing debugging and auditing. The EPL study formalizes its data model, focusing on hierarchical, object-based entities essential for event stream processing. A systematic study identifies ambiguities and inefficiencies, such as the NOT operator’s ambiguous behavior and redundancy issues with the EVERY construct. A modified grammar improves query optimization techniques. The research follows the Macro-Meso-Micro framework, structuring research questions into broad, refined, and specific levels. A key aspect is the Continuous Violation Mapping problem: how do input constraint violations affect query results? A commuting diagram approach visualizes integrity violation propagation, showing the limitations of traditional repair techniques and advocating for consistency-aware querying. The thesis reviews related work in database integrity management, streaming data repair, and provenance tracking. It evaluates methodologies through qualitative and performance studies, an InkStream demonstration, and use cases in financial analytics and review bombing detection. Findings suggest extending the provenance model to additional constraints and languages, exploring alternative data models, and investigating adaptive windowing techniques. This thesis lays the foundation for integrity-aware stream processing, introducing techniques for consistency tracking without disrupting real-time analytics. The proposed methods impact industries reliant on high-quality streaming data, including finance, healthcare, and IoT applications.

La qualité des données est essentielle en gestion moderne, garantissant exactitude, cohérence, exhaustivité et fiabilité. Si les bases de données statiques assurent bien l'intégrité, les environnements de flux nécessitent une validation en temps réel pour éviter la propagation d'erreurs. Cette thèse explore l'intégrité des flux de données, définie comme l'adhésion à des contraintes prédéfinies. Dans les applications en temps réel comme la finance et la surveillance énergétique, les anomalies peuvent indiquer des dysfonctionnements ou le bon déclenchement de systèmes automatisés. Il est donc essentiel de détecter et annoter les incohérences plutôt que de modifier ou supprimer les données erronées. La thèse apporte trois contributions majeures : InkStream pour l’évaluation de requêtes continues avec annotations d’incohérences, une approche basée sur des semi-anneaux pour la provenance de requêtes continues et une étude sur l’Event Processing Language (EPL). InkStream propose un cadre d’annotation des incohérences dans les requêtes continues, adaptant la provenance aux flux via des semi-anneaux polynomiaux. L’approche inclut des modifications spécifiques aux fenêtres pour garantir la faisabilité computationnelle. Une innovation clé est le Consistency Graph Summary, optimisant la propagation des annotations par propriétés transitives, réduisant ainsi la complexité. Une algèbre positive pour flux étend les opérations pour intégrer les annotations de cohérence dans les flux relationnels. Les évaluations montrent une amélioration des performances jusqu'à 80% et une surcharge minime. La thèse introduit également le When-Provenance, étendant les modèles de provenance avec des intervalles temporels pour suivre la dérivation des données. Les opérateurs de fenêtre divisent les flux infinis en segments finis. Le choix de la taille optimale des fenêtres est crucial : trop petites, elles omettent des données pertinentes, trop grandes, elles consomment plus de mémoire. Le cadre utilise des semi-anneaux basés sur des intervalles, des arbres de recherche équilibrés et un comptage orthogonal 2D pour une recomputation rapide des requêtes, améliorant ainsi le débogage et l’audit. L’étude d’EPL formalise son modèle de données en se concentrant sur des entités hiérarchiques et objet essentielles au traitement des flux. Une analyse systématique identifie des ambiguïtés et inefficacités, comme le comportement ambigu de l’opérateur NOT et les redondances de EVERY. Une grammaire modifiée améliore l’optimisation des requêtes. La recherche suit le cadre Macro-Meso-Micro, structurant les questions en niveaux global, intermédiaire et spécifique. Un aspect clé est le problème du Continuous Violation Mapping : comment les violations des contraintes en entrée affectent-elles les résultats des requêtes ? Un diagramme de commutation illustre la propagation des incohérences, démontrant les limites des techniques de réparation traditionnelles et plaidant pour des requêtes conscientes de la cohérence. La thèse examine les travaux existants sur l’intégrité des bases de données, la correction des flux et le suivi de provenance. L’évaluation inclut des études qualitatives et de performances, une démonstration d’InkStream et des cas d’usage en analyse financière et détection de fraude aux avis en ligne. Les conclusions suggèrent d’étendre le modèle de provenance à d’autres contraintes et langages, d’explorer des modèles de données alternatifs et d’étudier des techniques de fenêtrage adaptatif. Cette thèse pose les bases du traitement des flux avec intégrité, introduisant des techniques pour suivre la cohérence sans perturber l’analyse en temps réel. Ces méthodes ont un impact sur des secteurs nécessitant des données de haute qualité, notamment la finance, la santé et l’IoT.

Fichier principal
Vignette du fichier
TH2025LANGHISAMUELE.pdf (8.91 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-05172672 , version 1 (21-07-2025)

Licence

Identifiants

  • HAL Id : tel-05172672 , version 1

Citer

Samuele Langhi. Integrity over Streams. Databases [cs.DB]. Université Claude Bernard - Lyon I, 2025. English. ⟨NNT : 2025LYO10061⟩. ⟨tel-05172672⟩
704 Consultations
469 Téléchargements

Partager

  • More