Réplication de données pour la tolérance aux pannes dans un support d'exécution distribué à base de tâches - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Data replication for failure-tolerance in a distributed task-based runtime system

Réplication de données pour la tolérance aux pannes dans un support d'exécution distribué à base de tâches

Romain Lion
  • Fonction : Auteur
  • PersonId : 1285768
  • IdRef : 271908963

Résumé

While computing power of systems grows, their reliabity decreases inevitably. Indeed, performance is achieved by leveraging components quantity and complexity, therefore computing systems are subject to failures on a daily basis. The problem is to use a mechanism to tolerate failures while having the least impact on performance. Moreover, supercomputers archichecture become more and more complex, and so becomes their coding. Data-based runtime systems such as StarPU are responding to this problematic. This thesis proposes a dedicated failure tolerance protocol to StarPU. The STF programming model used in StarPU allows to create consistent coordinated non-blocking asynchronous checkpoints very simply, by inserting checkpoint requests statically in the source code, like an application-based checkpoint solution. Furthermore, managing the checkpoints inside StarPU allows to use the synergy between computing data and checkpoint data, allowing to significantly reduce the amount of data that needs to be saved. We exploit this effect by choosing to save checkpoints on the other computing nodes, and by performing local rollback using message logging. The efficiency of our proposal is evaluated with a Cholesky decomposition application. We also show that with a particular setting for this application, our approach allows to tolerate the failure corresponding to our hypothesis without having any data actually replicated on other nodes. This is done by using the fact that the application already replicates enough data due to the computation needs, while with our approach we are able to exploit these data as checkpoint data.
À mesure que la puissance de calcul des nouveaux supercalculateurs augmente, leur fiabilitédécroît inexorablement. En effet les limites sont repoussées en augmentant le nombre de composantsainsi que leur complexité, et les systèmes de calcul expérimentent des défaillances au quotidien. Laproblématique est donc de pouvoir se prémunir des pannes, tout en limitant l’impact sur les performancesqu’impose un mécanisme de tolérance aux pannes. Par ailleurs, la complexité de l’architecture dessupercalculateurs rend plus difficile leur programmation, ce à quoi tentent de répondre les supportsd’exécution à base de tâches comme StarPU. Les travaux présentés ici proposent une solution detolérance aux pannes adaptée à StarPU. Le modèle de programmation STF utilisé dans StarPU nouspermet de créer des sauvegardes asynchrones qui n’interrompent pas le calcul, et qui ne nécessitentaucune synchronisation entre les noeuds de calcul ; ce comportement est atteint en insérant statiquementdes requêtes de sauvegarde dans le code d’application, correspondant à une solution de checkpoint deniveau application. Également, gérer des sauvegardes à travers StarPU permet de mettre en communles données de calcul et les données de sauvegarde, ce qui nous permet de réduire considérablement laquantité de données qui doivent effectivement être sauvegardées. Nous avons exploité cet effet en utilisantles autres noeuds de calcul comme support de sauvegarde, ainsi qu’un mécanisme de message loggingafin de redémarrer uniquement le noeud en panne. L’efficacité de cette solution a été évaluée avec uneapplication de décomposition de Cholesky, et nous avons pu voir dans un cas idéal que notre approchepermet de tolérer les pannes considérées sans qu’aucune sauvegarde ne soit effectuée en pratique.
Fichier principal
Vignette du fichier
LION_ROMAIN_2022.pdf (1.2 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04213186 , version 1 (21-09-2023)

Identifiants

  • HAL Id : tel-04213186 , version 1

Citer

Romain Lion. Réplication de données pour la tolérance aux pannes dans un support d'exécution distribué à base de tâches. Performance et fiabilité [cs.PF]. Université de Bordeaux, 2022. Français. ⟨NNT : 2022BORD0393⟩. ⟨tel-04213186⟩
50 Consultations
127 Téléchargements

Partager

Gmail Facebook X LinkedIn More