doc(Microsoft PowerPoint - Présentation grid RPC ninf
download 
Plainte Transcription
(Microsoft PowerPoint - Présentation grid RPC ninf
Design, implementation and performance evaluation of GridRPC programming middleware for a largescale computational Grid Yoshio Tanaka, Hiroshi Takemiya, Hidemoto Nakada, Satoshi Sekiguchi Grid Technology Research Center, AIST Tsukuba Central 2 Jacques Saraydaryan 01/02/2005 1 Introduction L’article Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion Introduction L’article Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion Jacques Saraydaryan 01/02/2005 2 INTRODUCTION • Les auteurs Introduction L’article • National institute of Advance Industrial Science and Technology (AIST), laboratoire Electrotechnique (ETL-AIST) Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion • Grid Technology Research Center (GTRC) - Projet NINF-G depuis 2001 Jacques Saraydaryan 01/02/2005 3 L’article • Objectif: • Présentation d’une nouvelle version de leur produit Introduction Mais surtout présentation de leur résultat ! L’article Les GridRpc et Globus La solution proposée Ninf-G2 • Pas de vocation technique Conclusion • Concepts de base • Améliorations • Résultats de leurs expériences. Jacques Saraydaryan 01/02/2005 4 Les GridRpc et Globus • Rappel: Grille principe Introduction L’article Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion Jacques Saraydaryan 01/02/2005 5 Les GridRpc et Globus • Rappel: RPC Introduction Renvoie des résultats L’article Utilisation de supercalculateur distant Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion Utilisateur Appel de procédure distante Jacques Saraydaryan 01/02/2005 6 Les GridRpc et Globus •Le Globus Toolkit Introduction GLOBUS TOOLKIT L’article Les GridRpc et Globus La solution proposée Ninf-G2 Security Service GSI Conclusion Jacques Saraydaryan 01/02/2005 Resource Management Information Services Service GRAM Service MDS Data Management Services GASS, GridFtp 7 Les GridRpc et Globus •Le GridRpc NINF Client Introduction L’article Les GridRpc et Globus La solution proposée Ninf-G2 Client Serveur 4. connexion utilisant I/O de Globus Fichier IDL Librairie numérique 3. invocation de l’exécutable Compilateur IDL Conclusion GRAM Librairie exécutable distante MDS Fichier LDIF Interface Information 2. réponse d’interface 1. demande d’interface Jacques Saraydaryan 01/02/2005 8 La solution proposée Ninf-G2 • Limites actuelles Introduction L’article Les GridRpc et Globus La solution proposée Ninf-G2 • Dépassement de capacité trop important à l’initialisation des fonctions handels. • Pas de transfert de données efficace. Conclusion • Environnement hétérogène et peu fiable. • Le système doit être aussi compacte que possible. Jacques Saraydaryan 01/02/2005 9 La solution proposée Ninf-G2 • Les solutions proposées : Dépassement de capacité Créer plusieurs fonctions handles via un seul appel GRAM. Introduction L’article • API utilisée : grpc_function_handle_array_default_np() Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion • ag1: pointeur sur une rangée de fonctions handles • ag2: le nombre de fonctions handles • ag3: le nom de l’exécutable distant Création d’un fichier RSL transmit à GRAM. Passer au travers de MDS • Utilisation de fichiers LDIF. Jacques Saraydaryan 01/02/2005 10 La solution proposée Ninf-G2 • Les solutions proposées : Transfert de fichiers efficace • Utilisation d’une exécution distante « statefull » Ninf remote object. Introduction L’article Les GridRpc et Globus • Utilisation de protocoles binaires pour le transfert de fichiers. • Compression des données pour le transfert. • Les solutions proposées : Environnement hétérogène et peu fiable La solution proposée Ninf-G2 Conclusion • Utilisation de time out pour les initialisations des fonctions handles et du RPC. • « Heartbeat ». • Client « Callbacks ». • Annulation de session. • Mais aussi: fonctionnalité de débugage d’applications Jacques Saraydaryan 01/02/2005 11 La solution proposée Ninf-G2 • Les Tests effectués • Multiple appels de fonctions handles sur un cluster. Introduction 3 tests: méthode Ninf-G2, appel classique séquentiel et appel parallèle. L’article Les GridRpc et Globus La solution - Gain de temps à l’initialisation • Prévision météorologique. proposée Ninf-G2 Conclusion Nombre de simulations de 100 à 1500 avec fichiers d’entrée (3,5KB) et sortie (400 KB). Utilisation d’un nombre croissant de processeur (1 à 300). 3 expériences: 1 cluster (200 proc), 2 clusters (250 procs), 3 clusters (300 proc) - Communications inter-sites - Montée en charge Jacques Saraydaryan 01/02/2005 - Transfert de données 12 La solution proposée Ninf-G2 • Les résultats des simulations • Multiple appels de fonctions handles sur un cluster. Introduction L’article -Temps d’initialisation, méthode NINF-G dépend beaucoup moins du nombre de fonctions Handles. Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion • Prévision météorologique. • Simulation 1 et 2 : -Temps de transfert de fichiers augmente avec le nombre de processeurs. A partir de 100 processeurs, le temps se stabilise. -Temps total de la simulation augmente avec le nombre de processeurs utilisés. • Simulation 3 : Jacques Saraydaryan 01/02/2005 -Explosion des temps de transfert et de calcul. 13 La solution proposée Ninf-G2 • Conclusion sur les résultats - Présentation de tests concrets. Introduction L’article Les GridRpc et Globus - Mise à l’épreuve de Ninf-G2 intéressante . - Comparaison de performance avec d’autres produits? La solution proposée Ninf-G2 Conclusion Jacques Saraydaryan 01/02/2005 14 Conclusion • Le projet Ninf-g2 Introduction - Gestion du dépassement de capacité efficace avec une API simple. L’article - Ninf-G2 est compact (pas tolérance au faute, d’ordonnancement). Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion - Gestion de l’ordonnancement entre les sites par le client. - Le client devient un goulot d’étranglement en utilisation multi-sites. - Transfert de fichiers, la fiabilité pour des fichiers volumineux ? Jacques Saraydaryan 01/02/2005 15 Conclusion • Les autres projets de GridRpc - DIET: (Distributed Interactive Engineering Toolbox) Organisation hiérarchique de la grille. Introduction L’article Les GridRpc et Globus - Netsolve: approche clients-serveur, notion d’agent superviseur. La solution proposée Ninf-G2 Conclusion - OmniRPC: S’appuie sur protocole Ninf, ajout d’agent Omniagent permettant de gérer la sécurité et la répartition de charge. Jacques Saraydaryan 01/02/2005 16 Conclusion Introduction L’article Les GridRpc et Globus La solution proposée Ninf-G2 Conclusion Jacques Saraydaryan 01/02/2005 17 La solution proposée Ninf-G2 Introduction L’article Les GridRpc et Globus Ninf: Grid RPC system Ver.1 is released in ‘96 Ninf protocol and authentication using SSL stable and used for application and research La solution proposée Ninf-G2 Conclusion Ninf-G: Ninf implementation using the Globus Toolkit Provide GridRPC core package leave other functions such as security, scheduling, and resource management for Globus. Grid RPC package in the Globus toolkit Can be used for evaluation of other Globus-based package Jacques Saraydaryan 01/02/2005 18
