Massive multi-player multi-armed bandits for internet of things networks
Bandits massifs multi-bras multi-joueurs pour les réseaux de l’internet des objets
Résumé
This PhD thesis studies the optimization problem of Internet of Things (IoT) networks performance. We aim to maximize the successful communications in IoT networks, by proposing efficient dynamic decision-making algorithms that can be embedded in future IoT devices, while respecting the low complexity and low energy consumption constraints in IoT devices. For this sake, we use Reinforcement Learning (RL), and we model the optimization problem as a massive multi-player multi-armed bandit (MP-MAB) problem to best suit IoT networks, while overcoming many unrealistic assumptions previously made in the literature. In this manuscript, we propose two different approaches to handle the optimization problem. The first blacklists bad channels after a collaborative best-arms identification algorithm. The second consists of two different policies that recursively assign each device to one channel; where one policy focuses on the number of successful communications while the other guarantees a level of fairness between the devices. We provide both numerical and experimental studies of our developed algorithms, and show their out-performance over other algorithms proposed in the literature. Furthermore, we test our algorithms using a realistic LoRa network simulator entirely redeveloped in C during the thesis, and show the gain they achieve in terms of both successful communications and energy consumption compared to other already implemented algorithms.
Cette thèse de doctorat étudie le problème d’optimisation de la performance des réseaux de l’Internet des objets (IoT). L’objectif est de maximiser le succès des communications dans les réseaux de l’IoT, en proposant des algorithmes de prise de décision dynamiques efficaces pouvant être intégrés dans les futurs équipements IoT, tout en respectant leurs contraintes de faible complexité et de faible consommation d’énergie. Pour cela, l’apprentissage par renforcement (RL) est utilisé et le problème d’optimisation est modélisé comme un problème de bandit multi-joueurs multi-bras (MP-MAB), adapté aux réseaux IoT et permettant de surmonter de nombreuses hypothèses irréalistes dans le cadre des réseaux IoT précédemment effectuées dans la littérature. Dans cette thèse, deux approches différentes sont proposées pour traiter le problème d’optimisation. La première approche permet de blacklister les mauvais canaux de propagation d’un réseau en utilisant un algorithme collaboratif d’identification des meilleurs bras. La seconde approche consiste en deux politiques différentes qui attribuent de manière récursive chaque équipement IoT à un canal ; la première politique se concentre sur le nombre de communications réussies tandis que l’autre garantit un niveau d’équité entre les équipements. Dans un premier temps, nous avons effectué l’étude numérique et expérimentale des différents algorithmes développés pendant cette thèse afin de montrer qu’ils étaient capables de surclasser les autres algorithmes de la littérature. Dans un second temps, une partie importante du travail a consisté en l’application des algorithmes développés au problème concret de choix de la puissance d’émission et du facteur d’étalement dans un réseau LoRa, en analysant les performances en termes de qualité de service et de consommation d’énergie à l’aide d’un simulateur de réseau LoRa réaliste entièrement redéveloppé en C durant la thèse.
| Origine | Version validée par le jury (STAR) |
|---|