Techniques d'Apprentissage par Renforcement pour le Routage Adaptatif dans les Réseaux de Télécommunication à Trafic Irrégulie - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2004

Techniques d'Apprentissage par Renforcement pour le Routage Adaptatif dans les Réseaux de Télécommunication à Trafic Irrégulie

Said Hoceini

Résumé

The aim of this thesis is to propose an algorithmic approach, which allows to treat the problems of adaptive routing (AR) in telecommunication networks with irregular traffic. The analysis of the existing approaches has lead us to base our work on the Q-Routing (QR) algorithm. This algorithm uses a reinforcement learning technique which is based on Markov models. The efficiency of these routing approaches depends on information about the network load and the nature of data flows. This information must be sufficient and relevant and it has to reflect the real network load during the decision making phase. To overcome drawbacks of techniques using QR, we have proposed two AR algorithms. The first one, which is called Q-Neural Routing, is based on a stochastic neural model, used for parameter estimation and updating required for routing. In order to reduce the convergence time, a second approach is proposed: k-Shortest path Q-Routing. It is based on a multi-paths routing technique combined with the QR algorithm. In this case, the exploration space is limited to k-Best paths. The proposed algorithms are validated and compared to traditional approaches using the OPNET Simulator. Their efficiency, with respect to AR, is illustrated. In fact, these algorithms allow taking into account the network state in a better way than the classical approaches do.
L'objectif de ce travail de thèse est de proposer des approches algorithmiques permettant de traiter la problématique du routage adaptatif (RA) dans un réseau de communication à trafic irrégulier. L'analyse des algorithmes existants nous a conduit à retenir comme base de travail l'algorithme Q-Routing (QR); celui-ci s'appuie sur la technique d'apprentissage par renforcement basée sur les modèles de Markov. L'efficacité de ce type de routage dépend fortement des informations sur la charge et la nature du trafic sur le réseau. Ces dernières doivent être à la fois, suffisantes, pertinentes et reflétant la charge réelle du réseau lors de la phase de prise de décision. Pour remédier aux inconvénients des techniques utilisant le QR, nous avons proposé deux algorithmes de RA. Le premier, appelé Q-Neural Routing, s'appuie sur un modèle neuronal stochastique pour estimer et mettre à jour les paramètres nécessaires au RA. Afin d'accélérer le temps de convergence, une deuxième approche est proposée : K-Shortest path Q-Routing. Elle est basée sur la technique de routage multi chemin combiné avec l'algorithme QR, l'espace d'exploration étant réduit aux k meilleurs chemins. Les deux algorithmes proposés sont validés et comparés aux approches traditionnelles en utilisant la plateforme de simulation OPNET, leur efficacité au niveau du RA est mise particulièrement en évidence. En effet, ceux-ci permettent une meilleure prise en compte de l'état du réseau contrairement aux approches classiques.
Fichier principal
Vignette du fichier
tel-00010430.pdf (1.87 Mo) Télécharger le fichier

Dates et versions

tel-00010430 , version 1 (05-10-2005)

Identifiants

  • HAL Id : tel-00010430 , version 1

Citer

Said Hoceini. Techniques d'Apprentissage par Renforcement pour le Routage Adaptatif dans les Réseaux de Télécommunication à Trafic Irrégulie. Réseaux et télécommunications [cs.NI]. Université Paris XII Val de Marne, 2004. Français. ⟨NNT : ⟩. ⟨tel-00010430⟩
436 Consultations
1384 Téléchargements

Partager

Gmail Facebook X LinkedIn More