Inverse problems in networks - TEL - Thèses en ligne
Thèse Année : 2011

Inverse problems in networks

Problèmes inverses dans les réseaux

Résumé

The recent impressive growth of Internet in the last two decades lead to an increased need of techniques to measure its structure and its performance. Network measurement methods can broadly be classified into passive methods that rely on data collected at routers, and active methods based on observations of actively-injected probe packets. Active measurement, which are the motivation of this dissertation, are attractive to end-users who, under the current Internet architecture, cannot access any measurement data collected at routers. On another side, network theory has been developed for over one century, and many tools are available to predict the performance of a system, depending on a few key parameters. Queueing theory emerges as one particularly fruitful network theory both for telephone services and wired packet-switching networks. In the latter case, queuing theory focuses on the packet-level mechanisms and predicts packet-level statistics. At the flow-level viewpoint, the theory of bandwidth sharing networks is a powerful abstraction of any bandwidth allocation scheme, including the implicit bandwidth sharing performed by the Transfer Control Protocol. There has been many works showing how the results stemming from these theories can be applied to real networks, in particular to the Internet, and in which aspects real network behaviour differs from the theoretical prediction. However, there has been up to now very few works linking this theoretical viewpoint of networks and the practical problem of network measurement. In this dissertation, we aim at building a few bridges between the world of network active probing techniques and the world of network theory. We adopt the approach of inverse problems. Inverse problems are best seen in opposition to direct problems. A direct problem predicts the evolution of some specified systems, depending on the initial conditions and some known evolution equation. An inverse problem observes part of the trajectory of the system, and aims at estimating the initial condition or parameters that can lead to such an evolution . Active probing technique inputs are the delay and loss time series of the probes, which are precisely a part of the trajectory of the network. Hence, active probing techniques can be seen as inverse problems for some network theory which could predict correctly the evolution of networks. In this dissertation, we show how active probing techniques are linked to inverse problems in queueing theory. We specify how the active probing constraint can be added to the inverse problems, what are the observables, and detail the different steps for an inverse problem in queueing theory. We classify these problems in three different categories, depending on their output and their generality, and give some simple examples to illustrate their different properties. We then investigate in detail one specific inverse problem, where the network behaves as a Kelly network with K servers in tandem. In this specific case, we are able to compute the explicit distribution of the probe end-to-end delays, depending on the residual capacities on each server and the probing intensity. We show that the set of residual capacities can be inferred from the mean end-to-end probe delay for K different probe intensities. We provide an alternative inversion technique, based on the distribution of the probe delays for a single probing intensity. In the case of two servers, we give an explicit characterization of the maximum likelihood estimator of the residual capacities. In the general case, we use the Expectation-Maximization algorithm (E-M). We prove that in the case of two servers, the estimation of E-M converges to a finite limit, which is a solution of the likelihood equation. We provide an explicit formula for the computation of the iteration step when K = 2 or K = 3, and show that the formula stays tractable for any number of servers. We evaluate these techniques numerically. Based on simulations fed with real network traces, we study independently the impact of the assumptions of a Kelly network on the performance of the estimator, and provide simple correction factors when they are needed. We also extend the previous example to the case of a tree-shaped network. The probes are multicast, originated from the root and destined to the leaves. They experience an exponentially distributed waiting time at each node. We show how this model is related to the model of a tree-shaped Kelly network with unicast cross-traffic and multicast probes, and provide an explicit formula for the likelihood of the joint delays. We use the E-M algorithm to compute the maximum likelihood estimators of the mean delay in each node, and derive explicit solutions for the combined E andMsteps. Numerical simulations illustrate the convergence properties of the estimator. As E-M is slow in this case, we provide a technique for convergence acceleration of the algorithm, allowing much larger trees to be considered as would otherwise be the case. This technique has some novel features and may be of broader interest. Finally, we explore the case of inverse problems in the theory of bandwidth sharing networks. Using two simple examples of networks, we show how a prober can measure the network by varying the number of probing flows and measure the associated bandwidth allocated to each probing flow. In particular, when the bandwidth allocation maximizes an -fair utility function, the set of server capacities and their associated flow numbers can be uniquely identified in most cases. We provide an explicit algorithm for this inversion, with some cases illustrating the numerical properties of the technique.
La croissance récente d'Internet lors deux dernières décennies a conduit à un besoin croissant de techniques permettant de mesurer la structure et la performance d'Internet. Les techniques de mesures de réseaux peuvent être classifiées en méthodes passives qui utilisent des données collectées au niveau des routeurs, et les méthodes actives, reposant sur l'injection active et l'observation de paquets-sondes. Les méthodes actives, qui sont la motivation principale de ce doctorat, sont particulièrement adaptées aux utilisateurs finaux, qui ne peuvent pas accéder aux données mesurées par les routeurs avec l'architecture actuelle d'Internet. Sur un autre plan, la théorie des réseaux se développe depuis un siècle, et de nombreux outils permettent de prédire la performance d'un système, en fonction de quelques paramètres clés. La théorie des files d'attentes émerge comme une solution particulièrement fructueuse, que ce soit pour les réseaux téléphoniques ou pour les réseaux filaires à commutation de paquet. Dans ce dernier cas, elle s'intéresse au mécanisme à l'échelle des paquets, et prédit des statistiques à ce niveau. À l'échelle des flots de paquets, la théorie des réseaux à partage de bande passante permet une abstraction de tout schéma d'allocation de bande passante, y compris le partage implicite résultant du protocole TCP. De nombreux travaux ont montré comment les résultats provenant de ces théories peuvent s'appliquer aux réseaux réels, et en particulier à Internet, et dans quels aspects le comportement de réseaux réels diffère des prédictions théoriques. Cependant, il y a eu peu de travaux établissant des liens entre le point de vue théorique d'un réseau et le problème pratique consistant à le mesurer. Le but de ce manuscrit est de bâtir quelques ponts entre le monde des méthodes de mesure par sondes actives et le monde de la théorie des réseaux. Nous adoptons l'approche des problèmes inverses, qui peuvent être vus en opposition aux problèmes directs. Un problème direct prédit l'évolution d'un système défini, en fonction des conditions initiales et d'une équation d'évolution connue. Un problème inverse observe une partie de la trajectoire d'un système défini, et cherche à estimer les conditions initiales ou paramètres pouvant conduire à cette trajectoire. Les données des méthodes de mesure par sondes actives sont les séries temporelles des pertes et délais des sondes, c'est-à-dire précisément une partie de la "trajectoire" d'un réseau. Ainsi, les méthodes de mesures par sondes actives peuvent être considérées comme des problèmes inverses pour une théorie des réseaux qui permettrait une prédiction exacte de l'évolution des réseaux. Nous montrons dans ce document comment les méthodes de mesures par sondes actives sont reliées aux problèmes inverses dans la théories des files d'attentes. Nous spécifions comment les contraintes de mesures peuvent être incluses dans les problèmes inverses, quels sont les observables, et détaillons les étapes successives pour un problème inverse dans la théorie des files d'attentes. Nous classifions les problèmes en trois catégories différentes, en fonction de la nature de leur résultat et de leur généralité, et donnons des exemples simples pour illustrer leurs différentes propriétés. Nous étudions en détail un problème inverse spécifique, où le réseau se comporte comme un réseau dit "de Kelly" avecK serveurs en tandem. Dans ce cas précis, nous calculons explicitement la distribution des délais de bout en bout des sondes, en fonction des capacités résiduelles des serveurs et de l'intensité des sondes. Nous montrons que l'ensemble des capacités résiduelles peut être estimé à partir du délai moyen des sondes pour K intensités de sondes différentes. Nous proposons une méthodes d'inversion alternative, à partir de la distribution des délais des sondes pour une seule intensité de sonde. Dans le cas à deux serveurs, nous donnons une caractérisation directe de l'estimateur du maximum de vraisemblance des capacités résiduelles. Dans le cas général, nous utilisons l'algorithme Espérance-Maximisation (E-M). Nous prouvons que dans le cas à deux serveurs, la suite des estimations de E-M converge vers une limite finie, qui est une solution de l'équation de vraisemblance. Nous proposons une formule explicite pour le calcul de l'itération quand K = 2 ou K = 3, et prouvons que la formule reste calculable quelque soit le nombre de serveurs. Nous évaluons ces techniques numériquement. À partir de simulations utilisant des traces d'un réseau réel, nous étudions indépendamment l'impact de chacune des hypothèses d'un réseau de Kelly sur les performances de l'estimateur, et proposons des facteurs de correction simples si besoin. Nous étendons l'exemple précédant au cas des réseaux en forme d'arbre. Les sondes sont multicast, envoyées depuis la racine et à destination des feuilles. À chaque noeud, elles attendent un temps aléatoire distribué de façon exponentielle. Nous montrons que ce modèle est relié au modèle des réseaux de Kelly sur une topologie d'arbre, avec du trafic transverse unicast et des sondes multicast, et calculons une formule explicite pour la vraisemblance des délais joints. Nous utilisons l'algorithme E-M pour calculer l'estimateur de vraisemblance du délai moyen à chaque noeud, et calculons une formule explicite pour la combinaison des étapes E et M. Des simulations numériques illustrent la convergence de l'estimateur et ses propriétés. Face à la complexité de l'algorithme, nous proposons une technique d'accélération de convergence, permettant ainsi de considérer des arbres beaucoup plus grands. Cette technique contient des aspects innovant dont l'intérêt peut dépasser le cadre de ces travaux. Finalement, nous explorons le cas des problèmes inverses dans la théorie des réseaux à partage de bande passante. À partir de deux exemples simples, nous montrons comment un sondeur peut mesurer le réseau en faisant varier le nombre de flots de sondes, et en mesurant le débit associé aux flots dans chaque cas. En particulier, si l'allocation de bande passante maximise une fonction d'utilité -équitable, l'ensemble des capacités des réseaux et leur nombre de connections associé peut être identifié de manière unique dans la plupart des cas. Nous proposons un algorithme pour effectuer cette inversion, avec des exemples illustrant ses propriétés numériques.
Fichier principal
Vignette du fichier
these_BK.pdf (2.26 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00824860 , version 1 (22-05-2013)

Identifiants

  • HAL Id : tel-00824860 , version 1

Citer

Bruno Kauffmann. Inverse problems in networks. Networking and Internet Architecture [cs.NI]. Université Pierre et Marie Curie - Paris VI, 2011. English. ⟨NNT : 2011PA066026⟩. ⟨tel-00824860⟩
339 Consultations
1031 Téléchargements

Partager

More