Scheduling the Traffic in Deterministic Networks through Reinforcement Learning
Ordonnancer le trafic dans des réseaux déterministes grâce à l’apprentissage par renforcement
Résumé
One of the most disruptive changes brought by Industry 4.0 is the networking of production facilities. Furthermore, the discussions on Industry 5.0 show the need for an integrated industrial ecosystem,combining AI and the digital twin. In this environment, industrial equipment will work seamlessly with human workers, requiring minimal latency, high-speed connectivity for real-time monitoring. In order to meet this requirement, the Time-Sensitive Networking (TSN) set of standards was introduced. However, configuring TSN in a complex industrial network poses new challenges. For example, the TSN standard allow some flexibility and modularity in the data plane, however, the mechanisms defined by these standards depends on many parameters (such as network topology, routing, etc.) which makes the design work difficult. IEEE 802.1Q is one of the main TSN standards that provides several mechanisms to achieve deterministic latency. One of them is called Time-Aware Shaper (TAS). A switch with a TAS function divides the data traffic, through multiple priorities, into multiple queues arranged in a regular schedule. The main way to organize this process is based on exact or heuristic methods. These are good for closed networks (when all streams are identified in advance and the network topology is fixed). However, in an open network (where more streams are added to the network and the network topology is dynamic), scheduling in TSN can lead to NP-hard problems. The goal of this thesis is to propose a solution to process the scheduling in TSN using Deep Reinforcement Learning with the use of simulations to train and evaluate the configuration agent.
L’un des changements les plus perturbateurs apportés par l’industrie 4.0 est la mise en réseau des installations de production. De plus, les discussions portant sur l’Industrie 5.0 montrent la nécessité d’un écosystème industriel intégré, combinant IA et jumeau numérique. Dans cet environnement, les équipements industriels fonctionneront de manière transparente avec les travailleurs humains, nécessitant une latence minimale et une connectivité haut débit pour la surveillance en temps réel. Afin de répondre à ces exigences, l’ensemble de standard Time-Sensitive Networking (TSN) a été introduit. Cependant, la configuration de TSN dans un réseau industriel complexe pose de nouveaux défis. Par exemple, les standards TSN permettent une certaine flexibilité et modularité dans le plan de données, néanmoins, les mécanismes définis dans ces standards dépendent de nombreux paramètres (tels que la topologie du réseau, le routage, etc.) ce qui rend le travail de conception difficile. IEEE 802.1Q est l’un des principaux standards TSN qui fournit plusieurs mécanismes pour atteindre une latence déterministe. L’un d’eux s’appelle le Time-Aware Shaper (TAS). Un commutateur avec une fonction TAS divise le trafic de données, à travers plusieurs priorités, en plusieurs files d’attente organisées selon un ordonnancement régulier. Les principales manières d’organiser ce processus sont basées sur des méthodes exactes ou heuristiques. Ceux-ci sont bons pour les réseaux fermés (lorsque tous les flux sont identifiés à l’avance et que la topologie du réseau est fixe). Cependant, dans un réseau ouvert (où plus de flux sont ajoutés au réseau et la topologie du réseau est dynamique), l’ordonnancement dans TSN peut entraîner des problèmes NP-difficile. L’objectif de cette thèse est de proposer une solution pour traiter l’ordonnancement dans TSN en utilisant l’apprentissage par renforcement profond avec l’utilisation de simulations pour entraîner et évaluer l’agent de configuration.
| Origine | Version validée par le jury (STAR) |
|---|