Cognitive networks for Industrie 4.0 applications
Réseaux cognitifs sans fil pour des applications industrielles 4.0
Résumé
In the context of industry of the future, cognitive networks can help to increase robustness of computer and industrial networks. These networks are able to optimize automatically the different protocol parameters in order to perform one or more quality of service objectives. Unfortunately, cognitive networks have been rarely totally implemented. Most of the authors preferred improving only one functionality such as routing. In this PhD thesis, we follow this line by evaluating and improving Q-routing, a routing algorithm inspired by Q-learning and designed by Boyan and Littman in 1994. We propose an implementation of Q-routing and some improvements to solve two problems: local optimums due to the greedy strategy and the quality of delay measure. When a brief congestion happens on a route, this route can be never reused because of the greedy strategy. We propose two solutions inspired from reinforcement learning to solve local optimums problem. Otherwise, the quality of the estimation delay is also important. As Q-routing uses delay to compute routing metric, noisy measurements can let Q-routing doing the wrong choice. We propose to use filtering to improve the estimation of delay. We evaluate Qrouting and its modifications on discrete event network simulator Qualnet on several scenarios including wireless topologies and mobility. We show that our implementation can deliver more packets and faster than the standardized routing protocol OLSRv2.
Dans le contexte de l’industrie du futur, les réseaux cognitifs sont une solution pour améliorer la fiabilité des réseaux informatiques et industriels. Ils sont capables d’optimiser automatiquement les différents paramètres protocolaires afin d’accomplir un ou plusieurs objectifs de qualité de service. Très peu de réseaux cognitifs ont été implémentés en totalité. La plupart des auteurs ont préféré se concentrer sur l’amélioration d’une fonctionnalité comme le routage. Dans cette thèse, nous suivons cette approche en proposant d’évaluer et d’améliorer l’algorithme Q-routing, algorithme de routage conçu par Boyan et Littman en 1994 et inspiré de Q-learning. Nous proposons une implémentation de Q-routing et des améliorations pour résoudre deux problèmes : les optimums locaux causés par la stratégie gloutonne de Q-routing et l’estimation du délai. Les optimums locaux privent Q-routing des routes ayant été congestionnées même momentanément. Pour résoudre ce problème, nous proposons deux approches inspirées des travaux sur l’apprentissage par renforcement. Par ailleurs, la qualité de l’estimation du délai est importante car elle est utilisée pour calculer la métrique de routage. Nous proposons d’utiliser une méthode de filtrage afin d’améliorer la qualité de l’estimation du délai de transmission. Nous évaluons notre implémentation et nos améliorations sur le simulateur réseau Qualnet incluant des topologies sans-fil et dans des scénarios avec mobilité. Nous montrons que Q-routing peut livrer plus de paquets et plus rapidement que le protocole de routage standardisé OLSRv2.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|