Communications à hautes performances portables en environnements hiérarchiques, hétérogènes et dynamiques - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2004

High-Performance Portable Communication in Hierarchical, Heterogeneous and Dynamical Environments

Communications à hautes performances portables en environnements hiérarchiques, hétérogènes et dynamiques

Résumé

This thesis targets communication within parallel computers with an emphasis on high-performance computing. The software exploiting parallel computers had to adapt to their evolutions. Indeed, architectures such as PC clusters are now widespread and the emergence of grids tends to add new levels of complexity since high-performance can be obtained through exploitating the differe nt high-speed networks available as well as taking into account the inherent hierarchy of the configurations. And as far as applications are concerned, new functionalities are also required, such as dynamicity. Those aspects are far too often neglected or partially tackled in existing implementations of the message passing standard, that is, MPI. Current solutions do focus on hierarchy and heterogeneity or on dynamicity, rarely both and regarding the first aspects, some simplifications do not lead to a full exploitation of the underlying hardware. We have analyzed existing MPI implementations and have proposed an architecture that answers the needs we pointed out. This architecture relies on a strong interaction between threads and communication and its core is build above a progression engine that improves existing mechanisms. The two key elements used are a user-level thread library (Marcel) and generic communication library (Madeleine). The implementation of this architecture, MPICH-MAdeleine, is used or evaluated by several research groups, both french and foreign. The performance assessment carried out with several high-speed networks in both homogenous and heterogenous environments shows that MPICH-Madeleine's performance level is equal or superior to that of the software it challenges.
Cette thèse a pour cadre les communications dans les machines paral lèles dans une optique de calcul haute-performance. Les évolutions du matériel ont rendu nécessaire les adaptations des logiciels destinés à exploiter les machines parallèles. En effet, les architectures de type ``grappes'' sont maintenant très répandues et l'apparition des grilles de calcul complique encore plus la situation car l'obtention des hautes performances passe par une exploitation des différents réseaux rapides disponibles et une prise en compte de la hiérarchie intrinsèque des configurations considérées. Au niveau applicatif, de nouvelles exigences émergent comme la dynamicité. Or, ces aspects sont trop souvent partiellement traités, en particulier dans les implémentations du standard de programmation par passage de messages MPI. Les solutions existantes se concentrent sur la hiérarchie et l'hétérogénéité ou la dynamicité, exceptionnellement les deux. En ce qui concerne les premiers aspects, des simplifications conduisent à une exploitation suboptimale du matériel potentiellement disponible. Nous avons analysé des implémentations existantes de MPI et avons proposé une architecture répondant aux besoins formulés. Cette architecture repose sur une for te interaction entre communications et processus légers et son c\oe ur est constitué par un moteur de progression des communications qui permet d'améliorer substantiellement les mécanismes existants. Les deux éléments logiciels fondamentaux sont une bibliothèque de processus légers (Marcel) ainsi qu'une couche générique de communication (Madeleine). L'implémentation de cette architecture a débouché sur le logiciel MPICH-Madeleine, utilisé ou évalué par plusieurs équipes et projets de recherche en France comme à l'étranger. L'évalution des performances (comparaisons avec Madeleine, mesures des opérations point-à-point, noyaux applicatifs) menée avec plusieurs réseaux haut-débit sur des grappes homogènes de machines multi-processeurs et les comparaisons avec MPICH-G2 ou PACX-MPI en environnement hétérogène démontrent que MPICH-Madeleine atteint des résultats de niveau similaire voire supérieur à ceux d'implémentations spécialisées de MPI.
Fichier principal
Vignette du fichier
tel-00009054.pdf (1.32 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00009054 , version 1 (18-04-2005)

Identifiants

  • HAL Id : tel-00009054 , version 1

Citer

Guillaume Mercier. Communications à hautes performances portables en environnements hiérarchiques, hétérogènes et dynamiques. Réseaux et télécommunications [cs.NI]. Université Sciences et Technologies - Bordeaux I, 2004. Français. ⟨NNT : ⟩. ⟨tel-00009054⟩

Collections

CNRS
193 Consultations
270 Téléchargements

Partager

Gmail Facebook X LinkedIn More