Apprentissage par renforcement pour le pilotage énergétique de l'éclairage dans un bâtiment connecté - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Reinforcement learning for lighting energy control in a connected building

Apprentissage par renforcement pour le pilotage énergétique de l'éclairage dans un bâtiment connecté

Résumé

The challenge of this thesis is to propose and validate algorithms allowing an intelligent energy control to adapt to users and their practices. In this thesis, we want to specifically control the light in a room in which the user can freely interact with the system. This led us to design a model simulating the user's reactions to the change of the light signal. This model is not known by the control algorithm and is only used to test and validate our proposed control algorithms. The user model has the following properties:- The user reacts often for low signal values and infrequently for high signal values.- user's reaction depends on the past (non-stationarity) and is dominated by the most recent experiences.- the signal has taken low values in the past, the user will tend to react more often than if the signal had taken high values. We propose algorithms able to control the building light without knowing the user's model. For this purpose, we used reinforcement learning. In reinforcement learning, an agent evolves in a given environment and wants to perform a certain task. The agent learns to perform this task through trial and error by continuously interacting with the environment. Reinforcement learning is a priori the only model allowing to optimize a given objective without knowledge of the environment.We study several paradigms for the control system in which the agent's decision is modeled differently:- The paradigm by choice of signal variation in which the choice of the system concerns the speed of the signal decrease and the value of the signal on which to stop. The control concerns the whole signal variation.- The paradigm by choice of signal value in which the agent's choice concerns the current value. The agent chooses a value in the neighborhood of the current value.The main contributions of this thesis have been to propose reinforcement learning algorithms to model these two types of systems and to compare the performances of these algorithms for different settings of the agent and the user.The signal variation choice paradigm was formulated with stateless reinforcement learning. We compared the performance of the following reinforcement learning algorithms: epsilon-greedy, LRI, LRP, tracking, and hierarchical tracking. We were specifically interested in the evolution over time of energy, reward, and user state. Of course, the convergence speed and the convergence quality have also been taken into account.The signal value choice paradigm has been formulated with state-based reinforcement learning. We studied the performance of the most popular algorithms: SARSA and Q-learning. The convergence of the algorithms, the energy consumed as well as the reward and the state of the user were taken into account in this comparison.
L'enjeu de cette thèse est de proposer et de valider des algorithmes permettant un pilotage énergétique intelligent capable de s'adapter aux usagers et leurs pratiques. Nous voulons contrôler spécifiquement l'éclairage d'une pièce dans laquelle l'usager peut interagir librement avec le système. Ceci nous a amené à concevoir un modèle simulant les réactions de l'usager face au changement du signal lumineux. Ce modèle n'est pas connu par l'algorithme de contrôle et sert uniquement à tester et à valider les algorithmes de contrôle que nous proposons. Le modèle de l'usager a les propriétés suivantes :- L'usager réagit souvent pour les valeurs faibles du signal et peu souvent pour les valeurs fortes du signal.- Les réactions de l'usager dépendent du passé (non-stationnarité) et elle est dominée par les expériences les plus récentes. - Si le signal a pris des valeurs faibles par le passé, l'usager aura tendance à réagir plus souvent que si le signal avait pris des valeurs fortes. Nous proposons des algorithmes capables de contrôler la lumière du bâtiment sans connaitre au préalable le modèle de l'usager. À cet effet, nous avons utilisé l'apprentissage par renforcement. Dans l'apprentissage par renforcement, un agent évolue dans un environnement donné et il veut effectuer une certaine tâche. L'agent apprend à effectuer cette tâche par essai et erreur en interagissant continuellement avec l'environnement. L'apprentissage par renforcement est à priori le seul modèle permettant d'optimiser un objectif donné sans connaissance de l'environnement.Dans cette thèse, nous étudions plusieurs paradigmes pour le système de contrôle dans lesquelles la décision de l'agent est modélisée de façon différente :- Le paradigme par choix de variation du signal dans lequel le choix du système porte sur la vitesse de baisse du signal et la valeur du signal sur laquelle il faut s'arrêter. Le contrôle concerne l'ensemble de la variation du signal.- Le paradigme par choix de valeur du signal dans lequel le choix de l'agent porte sur la valeur actuelle. L'agent choisit une valeur dans le voisinage de la valeur courante.Les contributions principales de cette thèse ont été de proposer des algorithmes d'apprentissage par renforcement afin de modéliser ces deux types de systèmes et de comparer les performances de ces algorithmes pour différents paramétrages de l'agent et de l'usager.Le paradigme par choix de variation du signal a été formulé avec l'apprentissage par renforcement sans états. Nous avons comparé les performances des algorithmes d'apprentissage par renforcement suivants : epsilon-greedy, LRI, LRP, la poursuite et la poursuite hiérarchique. Nous nous sommes intéressés spécifiquement à l'évolution au cours du temps de l'énergie, de la récompense, et de l'état de l'usager. Bien entendu, la vitesse de convergence et la qualité de convergence ont aussi été pris en compte.Le paradigme par choix de valeur du signal a été formulé avec l'apprentissage par renforcement basé sur les états. Nous avons étudié les performances des algorithmes les plus populaires : SARSA et Q-learning. La convergence des algorithmes, l'énergie consommée ainsi que la récompense et l'état de l'usager ont étés pris en compte dans cette comparaison.
Fichier principal
Vignette du fichier
107358_HADDAM_2023_archivage.pdf (9.62 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04106652 , version 1 (25-05-2023)

Identifiants

  • HAL Id : tel-04106652 , version 1

Citer

Nassim Haddam. Apprentissage par renforcement pour le pilotage énergétique de l'éclairage dans un bâtiment connecté. Apprentissage [cs.LG]. Université Paris-Saclay, 2023. Français. ⟨NNT : 2023UPASG020⟩. ⟨tel-04106652⟩
126 Consultations
46 Téléchargements

Partager

Gmail Facebook X LinkedIn More