Conception d'un service de communication pour systèmes d'exploitation distribués pour grappes de calculateurs: mise en oeuvre dans le système à image unique Kerrighed
Résumé
This thesis presents the design of a communication service dedicated to the Single System Image architecture in the clusters system field.
The first problem is to design a communication model that fits, as efficient as possible, kernel to kernel communications needs. The idea of 'communication transaction' has been proposed in order to describe the content of a message and to describe actions upon this message.
In a SSI, a global scheduler may move a running process from a node to another one. Our second contribution concerns the design of a communication layer helping in the migration of process communication by streams (socket, pipe, etc.). Dynamic streams are mechanisms allowing to move the extremity of a stream without any performance lost.
This communication service has been developped in the Kerrighed SSI. The prototype has been proved with industrial MPI applications (without any modifications of the application or the middleware).
The first problem is to design a communication model that fits, as efficient as possible, kernel to kernel communications needs. The idea of 'communication transaction' has been proposed in order to describe the content of a message and to describe actions upon this message.
In a SSI, a global scheduler may move a running process from a node to another one. Our second contribution concerns the design of a communication layer helping in the migration of process communication by streams (socket, pipe, etc.). Dynamic streams are mechanisms allowing to move the extremity of a stream without any performance lost.
This communication service has been developped in the Kerrighed SSI. The prototype has been proved with industrial MPI applications (without any modifications of the application or the middleware).
Dans la ligné des réseaux de stations de travail, les grappes de calculateurs représentent une alternative attrayante, en terme de performance et de coût, comparativement aux machines parallèles traditionnelles, pour l'exécution d'applications parallèles de calcul à haute performance. Une grappe de calculateurs est constituée d'un ensemble de noeuds interconnectés par un réseau dédié à haute performance. Les systèmes à image unique (Single System Image -- SSI) forment une classe de logiciel offrant aux utilisateurs et programmeurs d'une grappe de calculateurs, l'illusion d'une machine unique. Un SSI peut être conçu à différents niveaux (intergiciel, système d'exploitation) selon le degré d'exigence quant à la
réutilisation sans modification de modèles de programmation et d'applications existants. Dans notre contexte, les applications visées sont de type MPI ou OpenMP. Comme pour tout système distribué, le système d'interconnexion des noeuds de la grappe se trouve au coeur des performances globales de la grappe et des SSIs.
Les travaux présentés dans cette thèse portent sur la conception d'un système de communication dédié aux systèmes d'exploitation distribués pour grappes. Ces travaux s'inscrivent dans le cadre de la conception et la réalisation d'un SSI pour l'exécution d'applications haute performance sur grappe de calculateurs.
Notre première contribution se situe dans la conception d'un modèle de communication adapté aux communications internes aux services systèmes distribués qui constituent le SSI. En effet, de la performance des communications dépendent les performances globales de la grappe. Les transactions de communication permettent (i) de décrire un message lors de sa création, (ii) d'acheminer efficacement le message en
fontion des ressources disponibles, et (iii) de délivrer et traiter le
message au plus tôt sur le noeud destinataire.
Notre seconde contribution correspond à la conception d'un support au déplacement de processus communiquant par flux de données (socket, pipe, etc.). En effet, au sein d'un SSI, les processus peuvent être déplacés en cours d'exécution par un ordonnanceur global. Les flux dynamiques permettent le déplacement d'une extrémité de communication sans dégradation des performances.
Nos propositions ont été mises en oeuvre dans le prototype de SSI Kerrighed, conçu au sein du projet INRIA PARIS de l'IRISA. Ce prototype nous a permis d'évaluer le système de communication proposé. Nous avons montré une réactivité accrue des services systémes distribués ainsi qu'une absence de dégradation des performances des applications communiquant par messages (en particulier MPI) aprés déplacement d'un processus. L'ensemble de ce travail est distribué sous licence GPL en tant que partie de Kerrighed et est disponible à l'adresse: http://www.kerrighed.org.
réutilisation sans modification de modèles de programmation et d'applications existants. Dans notre contexte, les applications visées sont de type MPI ou OpenMP. Comme pour tout système distribué, le système d'interconnexion des noeuds de la grappe se trouve au coeur des performances globales de la grappe et des SSIs.
Les travaux présentés dans cette thèse portent sur la conception d'un système de communication dédié aux systèmes d'exploitation distribués pour grappes. Ces travaux s'inscrivent dans le cadre de la conception et la réalisation d'un SSI pour l'exécution d'applications haute performance sur grappe de calculateurs.
Notre première contribution se situe dans la conception d'un modèle de communication adapté aux communications internes aux services systèmes distribués qui constituent le SSI. En effet, de la performance des communications dépendent les performances globales de la grappe. Les transactions de communication permettent (i) de décrire un message lors de sa création, (ii) d'acheminer efficacement le message en
fontion des ressources disponibles, et (iii) de délivrer et traiter le
message au plus tôt sur le noeud destinataire.
Notre seconde contribution correspond à la conception d'un support au déplacement de processus communiquant par flux de données (socket, pipe, etc.). En effet, au sein d'un SSI, les processus peuvent être déplacés en cours d'exécution par un ordonnanceur global. Les flux dynamiques permettent le déplacement d'une extrémité de communication sans dégradation des performances.
Nos propositions ont été mises en oeuvre dans le prototype de SSI Kerrighed, conçu au sein du projet INRIA PARIS de l'IRISA. Ce prototype nous a permis d'évaluer le système de communication proposé. Nous avons montré une réactivité accrue des services systémes distribués ainsi qu'une absence de dégradation des performances des applications communiquant par messages (en particulier MPI) aprés déplacement d'un processus. L'ensemble de ce travail est distribué sous licence GPL en tant que partie de Kerrighed et est disponible à l'adresse: http://www.kerrighed.org.
Loading...