Machine learning techniques for electricity price forecasting
Méthodes d'apprentissage machine pour la prévision des prix de l'électricité
Résumé
Electricity is essential for the energetic transition due to the diversity of greenhouse-gas free means of production and its potential to replace fossil fuels in transportation, heating and industries. However, it requires a constant balance between generation and consumption to maintain intensity in the network, and it can't be stored efficiently. It is then necessary to use Price Fixing Algorithm (PFA) for developing competitive markets. Daily, the European PFA EUPHEMIA determines the prices for the next day in Europe, called the Day-Ahead prices, that maximize the Social Welfare, while maintaining energy balance. Unlike other purely speculative markets, the Day-Ahead prices is algorithmically computed. Forecasting them is thus a unique and challenging task. This introduces the problem of Electricity Price Forecasting (EPF) at the European scale, that consists in predicting the 24 hourly prices for each market before their fixation at 12am. The literature highlights two approaches: Expert Models, that aim at replicating the PFA and computing the prices based on estimates of the inputs of EUPHEMIA, and Data Driven methods that directly estimate prices using exogenous variables and past prices. Both approaches are incomplete: Expert Models approaches are theoretically appealing but fail to produce accurate forecasts in practice. Conversely, Data Driven approaches lack transparency, lowering the forecasts reliability. Also, the true relationship between variables and prices is only captured by Euphemia, implicitly limiting the performances of Data Driven approaches. This thesis addresses those limitations. The first challenge is to produce accurate and explainable models for a given market. We achieve the former by extending methodologies from the literature, while we use Shap Values, a model-agnostic explainability tool, for the latter. Then, we build a multi-market forecasting model by representing the European network as a graph where each market is a node labeled with its prices. Graph edges are connection lines between markets, and we estimate the cross-market flows using an optimization problem prior to training. Lastly, we combine the EUPHEMIA algorithm with in a Neural Network (NN) that forecasts its inputs. To consider the price forecasting error in the NN's training, we compute the gradient of EUPHEMIA's output with respect to its input, by vanishing the derivative of the dual function using a dichotomy search. We believe this thesis will be beneficial for the EPF practitioners and will contribute toward bridging the gap between Expert-Models and Data-Driven approaches. We also believe that our work on mixing optimization problems with machine learning models will benefit the broader scientific community.
L'électricité est essentielle pour achever la transition énergétique car l’on peut la produire de manière décarbonnée et l’on peut l’utiliser partout. Cependant, afin de maintenir l'intensité dans le réseau, il faut s'assurer que la production et la consommation soient égales. De plus, il est impossible de stocker efficacement de l'électricité. Il faut donc utiliser un mécanisme de fixation des prix pour développer des marchés compétitifs. Tous les jours, EUPHEMIA détermine les prix du lendemain en Europe, que l'on appelle les Prix Spot. Ces prix sont ceux qui maximisent le bien être social tout en maintenant l'équilibre dans le réseau. A l'inverse d'autres marchés purement spéculatifs, le prix de l'électricité est calculé ce qui rend son estimation indispensable pour beaucoup d'applications industrielles. Le problème de l'estimation des prix de l'électricité en Europe consiste à prévoir les 24 prix horaires de chaque marché avant leur fixation à midi. De la littérature ressortent deux grandes familles d'approches : les modèles experts, qui ont pour but de répliquer EUPHEMIA et de calculer les prix en se basant sur des estimations de ses entrées, et les approches basées sur les données, qui utilisent les variables du marché pour directement estimer les prix. Les deux approches sont incomplètes : les modèles experts sont théoriquement intéressant mais très imprécis en pratique. A l'inverse, les approches se basant sur les données manquent de transparence, ce qui diminue la fiabilité de leurs résultats. De plus, la vraie relation entre les variables du marché et le prix n'est reflété que par EUPHEMIA, ce qui implicitement limite les performances des approches basées sur les données. Cette thèse aborde ces limitations. Le premier défit est d'obtenir des prédictions précises et transparentes. La précision est obtenue en appliquant les méthodes basées sur les données de la littérature et la transparence en utilisant les valeurs de Shap, un outil d'explicabilité des modèles agnostiques. Ensuite, nous représentons le réseau européen sous la forme d'un graphe, où chaque marché est un noeud qu'il faut labeliser avec ses prix. Les arrêtes du graphe sont les connections entre marché, et nous estimons les flux d'énergie à l'aide d'un problème d'optimisation. Pour terminer, nous combinons l'algorithme EUPHEMIA avec un réseau de neurones qui estime ses entrées. Afin de considérer l'erreur de prédiction des prix durant l'entraînement du réseau de neurones, nous calculons le gradient du résultat d'EUPHEMIA par rapport à ses entrées, en trouvant le point où la dérivée de la fonction duale atteint zéro avec une recherche dichotomique. Nous pensons que cette thèse sera bénéfique pour les professionnels de l'énergie requérant des prédictions de prix de l'électricité. Nous pensons également que nos travaux sur le mélange de problèmes d'optimisation avec des modèles d'apprentissage machine seront bénéfiques pour toute la communauté scientifique en général.
| Origine | Version validée par le jury (STAR) |
|---|