Native support for parallel and distributed computing by the network
Support natif du calcul parallèle et distribué par le réseau
Résumé
N the Big data community, MapReduce has been considered as one of the main approachesto answer the permanent increasing computing resources demand imposed by the large dataamount. Its importance can be explained by the evolution of the MapReduce paradigm whichpermits massively parallel and distributed computing over many nodes.Information-Centric Networking (ICN) aims to be the next Internet architecture. It bringsmany features such as network scalability and in-network caching by moving the networkingparadigm from the current host-centric to content-centric where the resources are important nottheir location. To benefit from the ICN property, Big Data architecture needs to be adapted tocomply with this new Internet architecture. One dominant of these CCN architectures is NamedData Networking (NDN) which has been financed by the American National Science Foundation(NSF) in the scope of the project Future Internet Architecture (FIA).We aim to define Big Data architecture operating on Named Data Networking (NDN) andcapitalizing on its properties. First, we design a fully distributed, resilient, secure and adaptabledistributed file system NDFS (NDN Distributed File System) which is the first layer (Data Layer)in the Big Data stack. To perform computation on the data replicated using a Distributed FileSystem, a Big Data architecture must include a Compute Layer. Based on NDN, N-MapReduceis a new way to distribute data computation for processing large datasets of information. Ithas been designed to leverage the features of the data layer. Finally, through the use of formalverification, we validate our Big Data architecture.
Dans la communauté du Big Data, le squelette MapReduce a été considéré comme l’une des principales approches permettant de répondre à une demande permanente et croissante des ressources informatiques imposées par des données massives. Son importance peut être expliquée par l’évolutivité du paradigme MapReduce qui permet une exécution massivement parallèle et distribué sur un grand nombre de noeuds de calcul. Le réseau centré sur l’information (ICN) vise à être la prochaine architecture Internet. Il apporte de nombreuses fonctionnalités telles que la mise à l’échelle du réseau et l’utilisation de cache réseau en déplaçant le paradigme de communication actuel centré sur l’hôte, vers une approche de communication centrée sur la donnée, où les ressources sont importantes et non leur emplacement. Pour tirer profit des propriétés des réseaux ICN dans le domaine Big Data, l’approche d’architecture Big Data doit être adaptée pour se conformer à cette nouvelle architecture réseau.L’une des dominantes de ces architectures ICN est Named Data Networking (NDN) qui a été financée par l’American National Science Foundation (NSF) dans le cadre du projet d’architecture de l’Internet du Future (FIA).Notre objectif est de définir une architecture Big Data fonctionnant sur NDN et capitalisant sur ses propriétés. Premièrement, nous concevons un système de fichiers distribués NDFS (NDNDistributed File System) entièrement distribué, résilient, sécurisé et adaptable qui est la première couche (Data Layer) de la pile Big Data. Pour effectuer le calcul sur les données répliquées à l’aide d’un système de fichiers distribués, une architecture Big Data doit inclure une couche de calcul. Basé sur NDN, N-MapReduce est une nouvelle façon de distribuer le calcul de données pour traiter de grands volume de données. Il a été conçu pour tirer profit des fonctionnalités de la couche de données. Enfin, grâce à l’utilisation de la vérification formelle, nous vérifions un ensemble de propriétés temporelles sur notre architecture Big Data.
| Origine | Version validée par le jury (STAR) |
|---|