In-Network Learning : Distributed Training and Inference in Communication Networks - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

In-Network Learning : Distributed Training and Inference in Communication Networks

In-Network Learning : formation distribuée et inférence dans les réseaux de communication

Matei Moldoveanu
  • Fonction : Auteur
  • PersonId : 1252308
  • IdRef : 267503970

Résumé

We study the problem of distributed statistical learning. More specifically, we consider the distributed training and inference setting. In the considered scenario, multiple nodes need to work together to predict some quantity of interest/event at a central node. Some nodes observe data related to the target quantity, while others do not; however, the nodes that do not have access to data form a link between the central node and the nodes that observe data. We consider the case in which a directed acyclic graph can model such a network. We study how one can train such a complex network in a distributed manner, i.e., without the exchange of raw data, for the case in which each node is equipped with a neural network to process the data. Inspired by the famous information bottleneck problem, we first use rate-distortion theory to derive an achievable trade-off between the network's performance under logarithmic loss and the rate of the messages passed between the nodes. Then, using the obtained trade-off, we showcase how one can derive a loss function that can jointly train the neural networks at the nodes in a distributed manner. We also study the problem of scheduling and power allocation for the proposed model for the star network topologies, i.e., in which the data observing nodes are connected directly to the central node making the prediction. Due to the distributed nature of the data and the lack of a known prior, no node can provide a definitive picture of the system and correctly decide the allocation of the resources. To overcome this issue, Prof. Abdellatif Zaidi patented a solution in which 1. Each device measures its own local assessment of how relevant is the data it holds for the inference task at hand and transmits it to the decision node. 2. That device also simultaneously sends the output activation values to the decision node. 3. The decision node combines all received information (activation values from the various devices as well as their individual local assessments) and then forms its own (global) assessment of how relevant each device's observation is. 4. The central nodes used the obtained assessments for scheduling for power allocation. In this thesis, we build upon the patent by presenting a method for computing the local and global assessments and proposing new scheduling and power allocation algorithms
Nous étudions le problème de l'apprentissage statistique distribué. Plus précisément, nous considérons le cadre d'apprentissage distribué et d'inférence. Dans le scénario considéré, plusieurs nœuds doivent travailler ensemble pour prédire une certaine quantité d'intérêt/d'événement au niveau d'un nœud central. Certains nœuds observent les données liées à la quantité cible, tandis que d'autres ne le font pas ; cependant, les nœuds qui n'ont pas accès aux données forment un lien entre le nœud central et les nœuds qui observent les données. Nous considérons le cas où un graphe orienté acyclique peut modéliser un tel réseau. Nous étudions comment on peut entraîner un réseau aussi complexe de manière distribuée, c'est-à-dire sans échange de données brutes, pour le cas où chaque nœud est équipé d'un réseau de neurones pour traiter les données. Inspirés par le fameux problème de goulot d'étranglement de l'information, nous utilisons d'abord la théorie de la distorsion du débit pour dériver un compromis réalisable entre les performances du réseau sous perte logarithmique et le débit des messages transmis entre les nœuds. Ensuite, en utilisant le compromis obtenu, nous montrons comment on peut dériver une fonction de perte qui peut entraîner conjointement les réseaux de neurones aux nœuds de manière distribuée. Nous étudions également le problème d'ordonnancement et d'allocation de puissance pour le modèle proposé pour les topologies de réseau en étoile, c'est-à-dire dans lequel les nœuds d'observation des données sont connectés directement au nœud central faisant la prédiction. En raison de la nature distribuée des données et de l'absence d'a priori connu, aucun nœud ne peut fournir une image définitive du système et décider correctement de l'allocation des ressources. Pour surmonter ce problème, le professeur Abdellatif Zaidi a breveté une solution dans laquelle 1. Chaque appareil mesure sa propre évaluation locale de la pertinence des données qu'il détient pour la tâche d'inférence en cours et la transmet au nœud de décision. 2. Cet appareil envoie également simultanément les valeurs d'activation de sortie au nœud de décision. 3. Le nœud de décision combine toutes les informations reçues (valeurs d'activation des différents appareils ainsi que leurs évaluations locales individuelles) et forme ensuite sa propre évaluation (globale) de la pertinence de l'observation de chaque appareil. 4. Les nœuds centraux ont utilisé les évaluations obtenues pour planifier l'allocation de puissance. Dans cette thèse, nous nous appuyons sur le brevet en présentant une méthode de calcul des évaluations locales et globales et en proposant de nouveaux algorithmes d'ordonnancement et d'allocation de puissance
Fichier principal
Vignette du fichier
TH2023UEFL2003.pdf (7.86 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04090185 , version 1 (05-05-2023)

Identifiants

  • HAL Id : tel-04090185 , version 1

Citer

Matei Moldoveanu. In-Network Learning : Distributed Training and Inference in Communication Networks. Networking and Internet Architecture [cs.NI]. Université Gustave Eiffel, 2023. English. ⟨NNT : 2023UEFL2003⟩. ⟨tel-04090185⟩
82 Consultations
21 Téléchargements

Partager

Gmail Facebook X LinkedIn More