Performance Evaluation of the Network and Service Management Plane
Performances des fonctions et architectures de supervision de réseaux et de services
Résumé
The efficiency and the performance of management systems is becoming a hot research topic within the networks and services management community. This concern is due to the new challenges of large scale managed systems, where the management plane is integrated within the functional plane and where management activities have to carry accurate and up-to-date information. Existing studies that have tried to assess the performance of management shows many limits in terms of used metrics and employed methods. These studies are burdened with the lack on common metrics and usually their results are not comparable, their experiments are not reproducible and they are not representative.
In this context, we defined a set of primary and secondary metrics to measure the performance of a management approach. We grouped the primary metrics into three categories : speed, quality and cost. Secondary metrics are derived from the primary ones and quantifies mainly the efficiency, the scalability and the impact of management activities. We have developed a measurement methodology to measure the primary metrics. To validate our propositions, we have designed and developed a benchmarking platform dedicated to the measurement of the performance of a JMX manager-agent pattern based management systems.
The second part of our work deals with the collection of measurement data sets from our JMX benchmarking platform. We mainly studied the effect of management load and the number of agents on the scalability, the impact of management activities on the user perceived performance of a managed server and the delays of JMX operations when carrying variables values. we find that most of these delays follow a Weibull statistical distribution. We used this statistical model to study the behavior of a monitoring algorithm proposed in the literature, under heavy tail delays distribution. In this case, the view of the managed system on the manager side becomes noisy and out of date.
In this context, we defined a set of primary and secondary metrics to measure the performance of a management approach. We grouped the primary metrics into three categories : speed, quality and cost. Secondary metrics are derived from the primary ones and quantifies mainly the efficiency, the scalability and the impact of management activities. We have developed a measurement methodology to measure the primary metrics. To validate our propositions, we have designed and developed a benchmarking platform dedicated to the measurement of the performance of a JMX manager-agent pattern based management systems.
The second part of our work deals with the collection of measurement data sets from our JMX benchmarking platform. We mainly studied the effect of management load and the number of agents on the scalability, the impact of management activities on the user perceived performance of a managed server and the delays of JMX operations when carrying variables values. we find that most of these delays follow a Weibull statistical distribution. We used this statistical model to study the behavior of a monitoring algorithm proposed in the literature, under heavy tail delays distribution. In this case, the view of the managed system on the manager side becomes noisy and out of date.
La performance et l'efficacité de la gestion sont devenues une préoccupation au sein de la communauté de gestion de réseaux et de services depuis maintenant. Cette préoccupation est due ssentiellement aux dimensions grandissantes de réseaux et de services, à l'intégration de plan de gestion dans le plan fonctionnel de ses réseaux et ses services et la précision qu'elle doit offrir la gestion afin d'accomplir ses tâches convenablement avec des délais raisonnables. Les études existantes qui ont tentées de quantifier la performance de la gestion présentent plusieurs limites au niveau des métriques et des méthodes employées. En effet, les principales lacunes de ces études sont l'absence de métriques standards et les caractères non comparables, non reproductibles et non représentatives de leurs méthodologies de mesure.
Etant donné ce cadre, nous avons travaillé sur la définition d'un ensemble de métriques primaires et secondaires pour mesurer la performance d'une approche de gestion. Les métriques primaires sont regroupées en trois familles : rapidité, coût et qualité. Les métriques secondaires proposées reposent sur ces dernières et permettent de quantifier l'efficacité, le passage à l'échelle et l'incidence de la gestion. Nous avons élaboré une méthodologie pour mesurer ces métriques primaires. Afin de valider cette proposition, nous avons conçu et implanté un banc de mesure dédié à l'évaluation de performances de l'approche de gestion JMX.
La seconde partie de notre travail a porté sur l'élaboration de fines campagnes de mesures de performances de JMX. Les résultats de ces mesures, nous ont permis de caractériser le passage à l'échelle, l'incidence de la gestion sur la performance d'un système géré et les délais de l'approche JMX sous différents scénarios. Nous avons trouvé que les délais que subissent les opérations JMX suivent approximativement une distribution statistique de Weibull. Grâce à ce rapprochement, nous avons pu identifier l'effet des délais sur le comportement d'un algorithme de supervision, notamment la distorsion temporelle de la vue observée par le gestionnaire par rapport à la vue réelle du système géré.
Etant donné ce cadre, nous avons travaillé sur la définition d'un ensemble de métriques primaires et secondaires pour mesurer la performance d'une approche de gestion. Les métriques primaires sont regroupées en trois familles : rapidité, coût et qualité. Les métriques secondaires proposées reposent sur ces dernières et permettent de quantifier l'efficacité, le passage à l'échelle et l'incidence de la gestion. Nous avons élaboré une méthodologie pour mesurer ces métriques primaires. Afin de valider cette proposition, nous avons conçu et implanté un banc de mesure dédié à l'évaluation de performances de l'approche de gestion JMX.
La seconde partie de notre travail a porté sur l'élaboration de fines campagnes de mesures de performances de JMX. Les résultats de ces mesures, nous ont permis de caractériser le passage à l'échelle, l'incidence de la gestion sur la performance d'un système géré et les délais de l'approche JMX sous différents scénarios. Nous avons trouvé que les délais que subissent les opérations JMX suivent approximativement une distribution statistique de Weibull. Grâce à ce rapprochement, nous avons pu identifier l'effet des délais sur le comportement d'un algorithme de supervision, notamment la distorsion temporelle de la vue observée par le gestionnaire par rapport à la vue réelle du système géré.