Towards new methods for the integration and interrogation of geo-referenced sensor data applied to the environmental cloud for the benefit of agriculture (CEBA)
Vers de nouvelles méthodes pour l'intégration et l'interrogation des données de capteurs géoréférencés appliquées au cloud environnemental au bénéfice de l'agriculture (CEBA)
Résumé
In recent years, the widespread use of sensors has revolutionized many sectors, particularly in agriculture and environmental applications, with the emergence of the Internet of Things (IoT). Equipped with batteries, sensors can work autonomously in remote locations, without the need for maintenance or repairs. They are typically deployed as clusters, where each sensor collecting data on its surroundings and communicating wirelessly with one or several gateways which are communicating to the cloud. The collected data is analyzed using various techniques and visualizations to extract insights and drive decisions. This entire process is known as the "sensor-to-decision chain". However, data analysis across heterogeneous sources is a complex task, especially when considering data from sensors. One of the difficulties is the interoperability issues due to different vendors in the market of sensors. The Open Geospatial Consortium (OGC) has defined several standards for accessing sensor data to overcome these issues. Additionally, stream processing presents numerous challenges due to the high rate at which sensor data is generated.In this thesis, we first address the problem of integrating and analyzing geo-referenced data from multiple sources, we propose both a method and an architecture to represent and query a spatial data warehouse (SDW) model with the ELK (Elasticsearch, Logstash, Kibana) stack. We demonstrate how to implement a data warehouse of geo-referenced data in an ELK-based architecture, with the use of a component called IAT (Integration and Aggregation Tool) that operates like a streaming ETL to integrate different sensor data and load it into Elasticsearch. We illustrate the approach with two multidimensional models relevant to environmental sensor data and show the value of the system with some real-world user queries. Additionally, we evaluate the system with a benchmark dataset with respect to several aspects.In the second part, we address the problem of big and streaming spatial data analysis, we propose a system based on mediation techniques for analyzing spatial stream in real-time with seamless integration. We also address the issue of integrating different data sources under a uniform schema for efficient analysis. We propose an interface and a customized SQL grammar to express queries with streaming and spatial semantics. The proposed system allows for an administrator to configure the system by designing a mediated schema and defining the mappings between the mediated schema and the data sources. Users can express queries on the mediated schema in a dedicated SQL grammar, and the system rewrites the query into an Apache Spark application. The results are returned to the user continuously. Moreover, we implement into the mediation system, an optimizer that overtakes the query plans computed natively by Spark. Our experiments show that these optimizations improve up to one order of magnitude the queries execution time.Finally, we address the problem of modeling IoT sensor data. We propose a generic multidimensional model for SensorThings API compatible data sources, which is based on UML profile. Furthermore, we model the ETL process and present our proposal through a case study.
Ces dernières années, l'utilisation généralisée de capteurs a révolutionné de nombreux secteurs, notamment dans l'agriculture et les applications pour l'environnement, à la suite de l'émergence de l'Internet des objets (IdO). Équipés de leurs propres batteries, les capteurs peuvent fonctionner de manière autonome dans des endroits éloignés, sans nécessiter de maintenance ou de contrôle. Ils sont généralement déployés en clusters, chaque capteur collectant des données sur son environnement et communiquant sans fil avec une ou plusieurs passerelles communiquant elles-mêmes avec un cloud. Les données collectées sont analysées et visualisées à l'aide de diverses techniques afin d'en extraire des informations et prendre des décisions. L'ensemble de ce processus est connu sous le nom de "sensor-to-decision chain". Cependant, l'analyse de données provenant de sources hétérogènes est une tâche complexe, surtout lorsqu'il s'agit de données de capteurs. L'une des difficultés réside dans les problèmes d'interopérabilité dus aux différents fournisseurs de capteurs. L' «Open Geospatial Consortium » (OGC) a défini plusieurs normes d'accès aux données de capteurs pour surmonter ces problèmes. De plus, le traitement des flux de données présente de nombreux défis en raison du débit élevé auquel les données des capteurs sont générées.Dans cette thèse, nous abordons d'abord l'analyse de données spatiales avec des systèmes NoSQL. Nous proposons à la fois une méthode et une architecture pour représenter et interroger un modèle d'entrepôt de données spatiales (SDW) avec la pile ELK (Elasticsearch, Logstash, Kibana). Nous démontrons comment mettre en œuvre un entrepôt de données géoréférencées dans une architecture basée sur ELK, avec l'utilisation d'un composant appelé IAT (Integration and Aggregation Tool) qui fonctionne comme un processus ETL (Extract- Transform-Load) en continu pour intégrer différentes données de capteurs et les charger dans Elasticsearch. Nous illustrons l'approche avec deux modèles multidimensionnels pertinents pour les données de capteurs environnementaux et montrons la valeur du système avec quelques requêtes réelles d'utilisateurs. En outre, nous évaluons le système avec un ensemble de données de référence par rapport à plusieurs aspects.Ensuite, nous présentons notre proposition de système basé sur des techniques de médiation pour l'analyse de données spatiales statiques et temps réel avec une intégration transparente. Nous abordons la question de l'intégration de différentes sources de données sous un schéma uniforme pour une analyse efficace. Nous proposons une interface et une grammaire SQL personnalisée pour exprimer des requêtes avec une sémantique pour le traitement des données spatiales et des flux. Le système proposé permet à un administrateur de configurer le système en concevant un schéma global et en définissant les correspondances entre le schéma global et les sources de données. Les utilisateurs peuvent exprimer des requêtes sur le schéma global dans une grammaire SQL dédiée, et le système réécrit la requête en une application Apache Spark. Le résultat est renvoyé à l'utilisateur en continu. De plus, nous implémentons dans le système de médiation, un optimiseur qui surpasse les plans de requêtes calculés nativement par Spark. Nos expériences montrent que ces optimisations améliorent le temps d'exécution des requêtes.Enfin, nous abordons la modélisation des données des capteurs IdO. Nous proposons un modèle multidimensionnel générique pour les sources de données compatibles avec l'API SensorThings, qui est basé sur le profil UML. En outre, nous modélisons le processus ETL et présentons notre proposition au moyen d'une étude de cas.
| Origine | Version validée par le jury (STAR) |
|---|