Protocol Emergence with Multi-Agent Reinforcement Learning - TEL - Thèses en ligne
Thèse Année : 2024

Protocol Emergence with Multi-Agent Reinforcement Learning

Émergence de protocoles avec apprentissage par renforcement multi-agents

Résumé

In this work, we propose an automated protocol design technique called protocol emergence. In protocol emergence, the network nodes exchange control messages in order to coordinate to deliver data across the network, but without any prior agreement on the meaning of those messages. This can be seen as a joint signaling and network optimization technique. With protocol emergence, it is possible to reduce the signaling overhead, appealing to massive machine-type communications (mMTC) scenarios, and design application-tailored protocols, which can be useful for somewhat stable scenarios such as indoor factory. Firstly, the fundamentals of protocol emergence are presented by introducing a framework describing methods of protocol performance evaluation, characterization, cross-node coordination and interpretation. This framework is studied in a slotted multiple-access problem.

In the second part of this work, we evaluate the performance of protocol emergence in a scenario involving contiguous resource allocation. This scenario is used to evaluate the learning capabilities and limitations of protocol emergence, illustrating the robustness to some parameters and the challenges involved with user equipment (UE) scalability, for example. In the third part of this work, we evaluate protocol emergence under signaling constraints, in a non-contiguous allocation scenario with intermittent signaling. In this study, we focus on producing a method in which the control bit-rate used by the protocol can be controlled. The results highlight the effect of the signaling cost on reducing the control bit-rate and the effect it has on coordination and performance. In conclusion, this thesis frames the protocol emergence problem, making progress on how to autonomously learn an effective control signaling scheme, while also addressing some of the challenges in protocol design and opening new and exciting avenues for future research. Such progress include a framework for producing and studying emergent protocols, a deep analysis of the learning capabilities and limitations of such methods and how to control the amount of signaling used by the emerged protocols.

Dans ce travail, nous proposons une technique de conception de protocole automatisée appelée émergence de protocole. Lors de l'émergence d'un protocole, les nœuds du réseau échangent des messages de contrôle afin de se coordonner pour transmettre des données à travers le réseau, mais sans aucun accord préalable sur la signification de ces messages. Cela peut être considéré comme une technique conjointe de signalisation et d’optimisation du réseau, le principal problème de réseau sans fil étudié dans ce travail étant la planification. Premièrement, les principes fondamentaux de l'émergence des protocoles sont présentés en introduisant un cadre décrivant les méthodes d'évaluation, de caractérisation, de coordination entre nœuds et d'interprétation des performances des protocoles. Ce cadre est étudié dans un problème d'accès multiple slotté. Dans la deuxième partie de ce travail, nous évaluons les performances d'émergence de protocoles dans un scénario plus difficile impliquant une allocation de ressources contiguës. Ce scénario difficile est utilisé pour évaluer les capacités d'apprentissage et les limites de l'émergence de protocoles, illustrant par exemple la robustesse de certains paramètres et les défis liés à l'évolutivité de l'UE. Dans la troisième partie de ce travail, nous évaluons l'émergence de protocoles sous contraintes de signalisation, dans un scénario d'allocation non contiguë avec signalisation intermittente. Dans cette étude, nous nous concentrons sur la production d’une méthode dans laquelle le débit binaire de contrôle utilisé par le protocole peut être contrôlé. Les résultats mettent en évidence l'effet du coût de signalisation sur la réduction du débit binaire de contrôle et son effet sur la coordination et les performances.
Fichier principal
Vignette du fichier
PhD_Thesis_Mateus.pdf (2.46 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04701367 , version 1 (18-09-2024)

Identifiants

  • HAL Id : tel-04701367 , version 1

Citer

Mateus Pontes Mota. Protocol Emergence with Multi-Agent Reinforcement Learning. Information Theory [cs.IT]. Université de Lyon, 2024. English. ⟨NNT : ⟩. ⟨tel-04701367⟩
0 Consultations
0 Téléchargements

Partager

More