Élasticité des infrastructures HPC conteneurisées : résonance entre le HPC et le Cloud - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

Elasticity of containerized HPC infrastructures : resonance between HPC and the Cloud

Élasticité des infrastructures HPC conteneurisées : résonance entre le HPC et le Cloud

Nicolas Greneche
  • Fonction : Auteur
  • PersonId : 1344116
  • IdRef : 275080188

Résumé

The subject of the thesis «Elasticity of containerized HPC infrastructures:Resonance between HPC and the Cloud» assesses the opportunity to borrow some properties of the Cloud to transpose them into HPC environments. We started by doing a proof of concept by containerizing the HPC Slurm scheduler to instantiate it on a Cloud orchestrated by Kubernetes. We tested two deployments 1) totally containerized compute nodes 2) hybrid as a cloud extension of a physical HPC cluster. We kept on working by formalizing a method to containerize any HPC scheduler and make it benefit from the property of dynamic scaling on a Cloud infrastructure. We tested this method on three major HPC schedulers: Slurm, OpenPBS and Oar. Finally, we developed a specialized controller for Kubernetes that automates the creation of new containerized compute nodes based on scheduler workload. At the end of our work, we have therefore succeeded in addingproperties of reproducibility, cohabitation and automatic scaling to HPC environments.
Le sujet de la thèse «Elasticité des infrastructures HPC conteneurisées : Résonance entre le HPC et le Cloud» évalue l’opportunité d’emprunter certaines propriétés du Cloud pour les transposer dans les environnements HPC. Nous avons commencé par réaliser une preuve de concept en mettant l’ordonnanceur HPC Slurm en conteneurs pour l’instancier sur un Cloud orchestré par Kubernetes. Nous avons testé deux déploiement 1) entièrement sous forme de conteneurs et 2) en hybride comme extension en Cloud d’un cluster HPC physique. Nous avons poursuivi notre travail en formalisant une méthode pour conteneurisé n’importe quel ordonnanceur HPC et lui faire profiter de la propriété de passage à l’échelle dynamique sur une infrastructure Cloud. Nous avons testé cette méthode sur trois ordonnanceurs HPC majeurs : Slurm, OpenPBS et Oar. Enfin, nous avons développé un contrôleur spécialisé pour Kubernetes qui automatise la création de nouveaux nœuds de calcul conteneurisés en fonction de la charge de travaux de l’ordonnanceur. A l’issue de notre travail, nous avons donc réussi à ajouter des propriétés de reproductibilité, cohabitation et passage à l’échelle automatique aux environnements HPC.

Mots clés

Fichier principal
Vignette du fichier
edgalilee_th_2023_greneche.pdf (2.24 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04426249 , version 1 (30-01-2024)

Identifiants

  • HAL Id : tel-04426249 , version 1

Citer

Nicolas Greneche. Élasticité des infrastructures HPC conteneurisées : résonance entre le HPC et le Cloud. Web. Université Paris-Nord - Paris XIII, 2023. Français. ⟨NNT : 2023PA131038⟩. ⟨tel-04426249⟩
24 Consultations
39 Téléchargements

Partager

Gmail Facebook X LinkedIn More