Advanced data validation methods for wastewater sensors using Artificial Intelligence
Validation des données issues des capteurs d'eaux usées à l'aide de l'intelligence artificielle
Résumé
Data reliability in wastewater system management is crucial because of the direct implications on operations. However, current approaches to data validation are often costly and/or lack objectivity. This thesis explores advances in artificial intelligence to establish robust validation. The establishment of a human validation pool shows that the average F1 score between experts remains at 0.81, highlighting the inevitable human bias. The models tested, namely Matrix Profile, ResNet and the Autoencoder, show promising results, with an F1 score of 0.96 for the latter, indicating an ability to effectively detect abnormal sequences in the time series. Matrix Profile excels in non-supervised, ideal for low failure sites, while ResNet is useful in more problematic contexts, which can justify a manual validation phase a priori. These findings open up prospects for improved management of wastewater networks, based on data made more reliable thanks to AI.
La fiabilité des données dans la gestion des réseaux d'eaux usées est cruciale en raison des implications directes sur les opérations. Cependant, les approches actuelles de validation des données sont souvent coûteuses et/ou manquent d'objectivité. Cette thèse explore les avancées en intelligence artificielle pour instaurer une validation robuste. La mise en place d'un pôle de validation humaine montre que le F1 score moyen entre experts reste à 0.81, soulignant l'inévitable biais humain. Les modèles testés, à savoir Matrix Profile, ResNet et l'Autoencodeur, présentent des résultats prometteurs, avec un F1 score de 0.96 pour ce dernier, indiquant une capacité à détecter efficacement les séquences anormales dans les séries temporelles. Matrix Profile excelle en non-supervisé, idéal pour des sites à faible défaillance, tandis que ResNet se montre utile dans des contextes plus problématiques, pouvant justifier une phase de validation manuelle à priori. Ces conclusions ouvrent des perspectives pour une gestion améliorée des réseaux d'eaux usées, basée sur des données fiabilisées grâce à l'IA.
| Origine | Version validée par le jury (STAR) |
|---|