Leveraging machine learning for multi-source data enrichment and analytics in air quality monitoring and crowd sensing
Application de l'apprentissage automatique à l'enrichissement et l'analyse de données multi-sources dans la surveillance de la qualité de l'air et la collecte participative
Résumé
Data enrichment using machine anddeep learning techniques in the context of the Internet of Things (IoT) has become increasinglycrucial in today's technological landscape. Dueto the rapid expansion of IoT devices, there isan excess of data created from diverse sourcessuch as sensors, actuators, and embedded systems.However, this data is frequently enormous, complex, and unstructured, making it difficult to extract significant insights and make accurate conclusions. Machine learning algorithms provide a robust solution by automatically extracting patterns,trends, and correlations from IoT data, increasingits value. IoT systems may learn from prior experiences, adapt to changing settings, and enhanceoperations by employing machine learning. Thisenrichment facilitates enhanced predictive analytics and improved decision-making processes.Our study focuses on improving the quality ofboth qualitative and quantitative data in the context of air pollution assessments. Regarding quantitative data, we monitor air pollution levels using sensor data acquired by Mobile Crowd Sensing (MCS). We also include data from permanentstations that assess air pollution levels. We wantto detect the micro-environment within the MCSdata, allowing for a more detailed understandingof pollution trends at a localized level and per participant. Furthermore, we use quantitative datafrom fixed stations and MCS to estimate air pollution levels in areas without fixed stations, givingcomprehensive coverage. On the other hand, inthe case of qualitative data, we enrich it by incorporating geolocation information from tweets. Byadopting a location prediction model, we can accurately assign geolocation information to tweets, enabling us to utilize them in detecting local events,particularly those related to pollution. This integrated approach of enriching qualitative and quantitative data enhances our ability to analyze andunderstand air pollution dynamics more comprehensively and localized.Within this thesis, we have adapted machineand deep learning techniques to provide semanticsto our collected quantitative and qualitative data.All the proposed approaches have been applied toreal-world datasets collected within Polluscope andGOGREEN Routes projects.
L'enrichissement de données à l'aidede techniques d'apprentissage automatique et profond dans le contexte de l'Internet des objets(IoT) est de plus en plus crucial dans le paysagetechnologique actuel. L'expansion rapide des appareils de l'IoT a amené à la génération croissante de données à partir de diverses sources tellesque des capteurs, des actionneurs et des systèmesembarqués. Cependant, ces données sont souvent massives, complexes et non structurées, cequi rend difficile leur exploitation dans l'extractiond'information pertinente et la détection ou la prédiction de situations ou d'événements. Les algorithmes d'apprentissage automatique fournissentune solution robuste pour l'extraction automatiquede motifs, de tendances et de corrélations dansles données de l'IoT, augmentant ainsi leur valeur.Les systèmes IoT peuvent en effet apprendre desdonnées historiques, s'adapter à l'évolution desparamètres et améliorer leur exploitation en utilisant l'apprentissage automatique. Cet enrichissement des données par des connaissances facilitel'analyse prédictive et améliore le processus décisionnel.Cette thèse se place dans le contexte de lacollecte participative (en anglais Mobile CrowdSensing ou MCS) de la qualité de l'air et propose des méthodes d'enrichissement des donnéesliées à la pollution atmosphérique en se basant surl'apprentissage automatique. Les concentrationsde pollution sont mesurées à l'aide de capteursportatifs dans le cadre de campagnes de MCS.D'autres données proviennent de stations fixes quimesurent la qualité de l'air sur des sites pré-définis.Nous proposons une méthode d'apprentissage automatique combinant ces deux sources de donnéespour estimer la pollution de l'air offrant une couverture complète. Par ailleurs, nous développonsune méthode d'enrichissement des données MCSpar apprentissage du micro-environnement, ce quiest important pour une analyse contextualisée dela pollution et de l'exposition individuelle. Uneautre source de données, peu structurée, provientdes médias sociaux. Nous nous sommes intéressésaux tweets et cherché à enrichir nos données enpassant par la géolocalisation précise de tweets.Nous avons proposé un pipeline d'apprentissagepermettant de géolocaliser précisément les tweets,et ainsi de détecter des événements localisés enlien avec la pollution. Cette approche intégréed'enrichissement des données qualitatives et quantitatives améliore notre capacité à analyser et àcomprendre la dynamique de la pollution atmosphérique de manière plus complète et localisée.Dans cette thèse, nous avons adapté des techniques d'apprentissage automatique et profondpour l'enrichissement sémantique des données liéesà la qualité de l'air. Toutes les approches proposées ont été appliquées à des données réellescollectées dans le cadre des projets Polluscope etGOGREEN Routes.
| Origine | Version validée par le jury (STAR) |
|---|