Développement d’une méthode de distribution de métadonnée équilibrée pour un flux de requêtes exascale - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Development of a well-balanced metadata distribution method for an exascale requests flow.

Développement d’une méthode de distribution de métadonnée équilibrée pour un flux de requêtes exascale

Résumé

In the high-performance computing field (HPC), storage systems are an important performance factor. Using object storage systems coupled to distributed metadata services enable to overcome limitations induced by the POSIX norm, and to improve the data access concurrency. But this solution comes with its own drawbacks : it requires to deal with metadata distributions and load-balancing for metadata servers (MDS). This work aims to design a new metadata distribution method enabling toefficiently load balance requests between MDS for exascale HPC request flows. In this way, we develop a method named Load-Adaptive Distribution (or LAD), which rebalances the workload only when it is required, and its extension named Load-Adaptive Distribution with Temporal Window (or LAD-TW), which provides a betterworkload evaluation. In order to evaluate our methods and compare them with some state-of-the-art methods, we have developed MeDiE, for Metadata Distribution Evaluator, an evaluation tool dedicated to metadata distribution methods. It enables load-balancing analysis on different and representative request flows and allows us to prove the benefit of using the LAD and LAD-TW methods.
Dans le domaine du calcul haute performance (HPC), le stockage de plus en plus de données devient un facteur de performance à prendre en compte. Pour cela, l’utilisation des systèmes de stockage objet et des services de métadonnées distribués permet de pallier les limitations induites par la norme POSIX et d’améliorer la concurrence des accès. Toutefois, cela engendre de nouvelles problématiques telles que la distribution des métadonnées et l’équilibrage de charge des serveurs de métadonnées (MDS). Cette thèse a pour objectif de concevoir une nouvelle méthode de distribution des métadonnées permettant un équilibrage de lacharge des serveurs sur un flux de requêtes HPC EXASCALE. Dans cette optique, nous avons développé la méthode Distribution adaptative à la charge (ou LAD) effectuant des redistributions de charge seulement quand cela est nécessaire, ainsi que sa variante avec fenêtre temporelle LAD-TW permettant une meilleure évaluation de la charge des serveurs. Afin d’évaluer nos méthodes et de les comparer à celles de l’état de l’art, nous avons conçu et développé MeDiE (pour Metadata Distribution Evaluator), un outil d’évaluation pour les méthodes de distribution des métadonnées. Il permet une étude de la répartition de la charge des différents serveurs, selon plusieurs flux de requêtes caractéristiques. Nous avons ainsi pu observer l’apport des méthodes LAD et LAD-TW par rapport aux méthodes de l’état de l’art testées.
Fichier principal
Vignette du fichier
87970_BILLA_2020_archivage.pdf (6.04 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03215309 , version 1 (03-05-2021)

Identifiants

  • HAL Id : tel-03215309 , version 1

Citer

Eloïse Billa. Développement d’une méthode de distribution de métadonnée équilibrée pour un flux de requêtes exascale. Réseaux et télécommunications [cs.NI]. Université Paris-Saclay, 2020. Français. ⟨NNT : 2020UPASG044⟩. ⟨tel-03215309⟩
147 Consultations
127 Téléchargements

Partager

Gmail Facebook X LinkedIn More