version PDF - Flash informatique

Architecture de Mizar
Jacques.Menu@epfl.ch, Domaine IT
L’article
du FI10/04 accessible à l’URL http://
dit.epfl.ch/publications-spip/article.
php3?id_article=808 annonçait le choix du matériel dans le
cadre du projet Mizar, visant à remplacer la machine SGI
3800 par un système mixte comportant une machine SMP et
un cluster de nœuds partageant des frontales communes.
La solution choisie a été celle proposée par la maison
Dalco AG, illustrée à la fig. 1 et comportant:
❚ une machine SMP (mémoire partagée) SGI Altix 350 à
16 processeurs Itanium (1.6 GHz, cache de 9 MB) et 64
GB de mémoire vive;
❚ un cluster Dalco de 160 noeuds biprocesseur Opteron
250 à 2.4 GHz, chaque noeud disposant de 4 GB de
mémoire;
❚ quatre réseaux de communications privés;
❚ six frontales, accessibles publiquement; les nœuds de
calcul étant sur des réseaux privés.
Des délais de livraison plus longs que prévus ont fait
que le système n’est finalement arrivé sur le site que courant
février dernier.
Un point particulier à cet ensemble est le panachage
de deux architectures matérielles 64 bits, soit des Opteron
d’AMD et des Itanium d’Intel.
Nous en décrivons les grandes lignes dans le présent
article, les détails techniques plus fins étant accessibles par
l’utilitaire infos directement sur le système.
Frontales
Il y en a six, toutes biprocesseur, de type Opteron sauf
ict. Elles sont listées ci-dessous par leur nom privé avec leur
rôle:
❚ nfs1 et nfs2 sont deux serveurs de fichiers NFS hébergeant les dossiers racine des utilisateurs des nœuds Opteron, un volume accessible par tous les nœuds Opteron et
un espace de type scratch, non sauvegardé, à disposition
des utilisateurs;
❚ login1 et login2 sont dédiées au travail interactif des
utilisateurs;
❚ ict (Itanium Compile & Test) est une frontale Itanium
permettant de compiler et de tester les applications devant
être exécutées sur l’Altix;
❚ iplb (IP Load Balancer) tourne IPVS (IP Virtual Server):
c’est elle qui est connue par l’alias mizar.epfl.ch. Elle
ventile les connexions SSH entrantes alternativement
sur login1 et login2.
fig. 1– vue synoptique de Mizar
fi 6 – 28 juin 2005 – page 17
Architecture de Mizar
iplb root - ~ > module avail
----------------------------------- /usr/local/Modules/versions ---------------------------------3.1.6
------------------------------- /usr/local/Modules/3.1.6/modulefiles -----------------------------dot
module-cvs module-info modules
null
use.own
---------------------------------- /usr/local/Modules/modulefiles --------------------------------acml_generic_pgi/2.5.0
goto/0.96-2(default)
pathscale/2.0(default)
acml_pathscale/2.5.1
intel-cc/8.1.024
pgi/5.2(default)
acml_scalapack_generic_pgi/2.5.0 intel-fc/8.1.021
iplb root - ~ > module whatis acml_pathscale
acml_pathscale
: loads the ACML for Pathscale 2.5.1 64-bit library environment
fig. 2: modules installés sur Opteron
ict root - ~ > module avail
----------------------------------- /usr/local/Modules/versions ---------------------------------3.1.6
------------------------------- /usr/local/Modules/3.1.6/modulefiles -----------------------------dot
module-cvs module-info modules
null
use.own
---------------------------------- /usr/local/Modules/modulefiles --------------------------------SunJava2/1.4.2
intel-fc/8.1.020
intel-cc/8.1.023
intel-idb/8.1.036
intel-compilers-7.1/C_C++_7.1.042_F90_7.1.044 intel-mkl/7.0.016
fig. 3: modules installés sur Itanium
Les dossiers racine des utilisateurs du SMP sont quant à
eux répartis sur ict et l’Altix, et rendus accessibles à ces deux
machines par NFS. La frontale à utiliser pour travailler est
ict dans ce cas.
Comme iplb est une machine a priori peu chargée, il a
été décidé d’y faire tourner différents services, dont le serveur
Web Apache accessible à l’URL mizar.epfl.ch.
Réseaux privés
Il sont au nombre de quatre, soit:
❚ un réseau haute performance à faible latence Myrinet
pour la communication entre les processeurs Opteron
avec MPI;
❚ un réseau à 1 Gbit/s pour l’accès aux serveurs de fichiers
NFS;
❚ un réseau d’administration à 100 Mbit/s;
❚ un réseau d’accès aux consoles des différentes machines,
accessibles via IP.
L’accès à Internet depuis les réseaux privés est réalisé par
un NAT (Network Address Translation) tournant sur iplb.
Logiciels
Les machines Opteron tournent SuSE 9.2, tandis que
les Itanium dont le SGI Altix tournent SLES (SeSE Linux
Enterprise Server) 9.
L’outil retenu pour le batch est PBSPro, en version 5.4.2
actuellement.
Les différents compilateurs et les librairies d’usage courant sont accessibles au moyen de l’utilitaire modules, qui
permet à l’utilisateur de choisir parmi ce qui est disponible
selon ses besoins.
fi 6 – 28 juin 2005 – page 18
Les modules installés sont distincts sur Opteron et
Itanium, comme on le voit aux figures 2 et 3. Sur la partie
Opteron, Dalco recommande l’utilisation des librairies optimisées ACML et GOTO. Le jeu des modules à disposition
sera affiné et complété selon les besoins des utilisateurs.
Nous remercions Trach-Minh Tran du CRPP pour sa
contribution dans le domaine des benchmarks et du choix
des compilateurs Intel.
Authentification des utilisateurs
Elle se fait via le serveur LDAP de l’EPFL.
Les personnes extérieures qui ont besoin de travailler sur
Mizar dans le cadre de collaborations avec des laboratoires
de l’Ecole doivent être enregistrées dans LDAP par les responsables de ces laboratoires.
Actuellement, il n’y a pas de quotas de ressources. Le
CoPIL HPC (comité de pilotage HPC/MPC) définira qui
a droit à quoi dans ce domaine.
Sauvegarde
Elle se fait en deux phases:
❚ dans un premier temps, les fichiers à sauvegarder sont
recopiés sur un espace disque intermédiaire de 3 TB
connecté à ict;
❚ sur ict tourne un client Veritas qui sauvegarde les informations sur le robot STK du DIT.
Cette solution a l’avantage de donner un accès rapide à
un fichier sur le disque intermédiaire sans devoir toujours
aller le rechercher sur le robot, tout en ne nécessitant qu’une
licence Veritas.
Architecture de Mizar
Tolérance aux pannes
La perte d’un nœud de calcul Opteron dégrade simplement la puissance totale à disposition et interrompt le job
en cours sur ce nœud. En revanche, la perte d’une frontale
est beaucoup plus problématique: la seule forme de fail-over
sur Mizar est que si l’une des frontales de login, login1 ou
login2, tombe, l’autre prend en charge toutes les connexions
SSH entrantes jusqu’à ce la machine fautive soit de nouveau
active.
Situation actuelle
par Dalco et SGI lors de l’appel d’offres;
❚ diverses corrections et améliorations sont en cours sur
l’ensemble du système;
❚ Mizar est ouverte depuis deux semaines aux utilisateurs
en mode pré-production, soit sans sauvegarde des dossiers
utilisateurs et avec le risque de redémarrages avec un court
préavis;
❚ nous travaillons à finaliser l’environnement logiciel, en
liaison avec Dalco et les utilisateurs qui nous soumettent
leurs problèmes.
La mise en production normale de la machine devrait
intervenir sous peu.■
Au moment de l’écriture de ces lignes:
❚ les benchmarks contractuels ont tourné avec des performances au moins aussi bonnes que les valeurs annoncées
La guerre des standards
1er épisode
David.Petraitis@epfl.ch,Domaine IT
Depuis
toujours, les standards sont liés à l’activité humaine: pas d’innovation ou
d’échanges commerciaux sans standard. Les tout premiers
standards concernaient les mesures de longueur, de poids et
de pureté. A l’époque moderne ils font l’objet de nombreuses
discussions mais chaque standard repose sur le besoin de
décrire la mise en œuvre et la manière de tester si les résultats
sont satisfaisants. Les outils de mesure et les standards associés
sont créés simultanément.
Les standards sont nécessaires pour partager à peu près
tout. On pense bien sûr aux standards monétaires (et aux
taux de change) ou aux standards électriques et l’alimentation
de nos PC. On est gêné quand ces standards font défaut, ou
qu’il y en a plusieurs (par exemple les multiples modèles de
prises électriques en Europe). Mais ils permettent aussi de
partager des idées. Dans le domaine de l’informatique, ils
servent surtout à partager des spécifications, qui sont des
idées structurées.
Histoire de standards: SDOs et
Consortiums
Il y a bien longtemps, ce sont les rois qui définissaient
les standards, puis ce furent les états. A présent, il y a
de nombreux organismes nationaux de standardisation
comme l’AFNOR en France et le British Standard Institute
au Royaume-Uni. Au 20ème siècle, les standards se sont
internationalisés et sont régis par trois organisations de
développement des standards (SDOs) - ITU, IEC et ISO,
toutes basées à Genève. En parallèle, des standards sont aussi
issus du marché.
A la fin des années 80, la perception dans le monde de
l’industrie informatique était que les SDOs traditionnelles
étaient trop lentes dans la création des standards par rapport
à la vitesse de développement de la technologie. Voici les
commentaires d’Andrew Updegove à ce sujet: «En 1988, le
processus moyen par l’IEC était de 8 ans Dans le cas d’un pas
de vis (sujet de l’ISO TC1, premier comité technique ISO) une
telle période de gestations était acceptable.»[1]
Une soupe à l’alphabet
La réponse du marché à cette lenteur fut la création de
consortiums. Des industries, des universités et des gouvernements s’associent pour créer un standard, généralement
dans un domaine précis de la technologie. Internet lui-même
fut fondé par un consortium qui a démarré dans le milieu
universitaire en 1969 et fut ensuite repris par l’IETF en
1986.[2]
Aujourd’hui, des centaines de ces organisations existent
[3] et les standards dont elles font la promotion ont parfois
des domaines de recouvrement. Par exemple, dans le domaine du XML (XML est lui-même un standard du W3C):
ebXML a été créé pour étendre la sémantique de XML aux
besoins du e-business par OASIS et UNECE/CEFACT, et
Xbrl eXtensible Business Reporting Language est supporté
par le consortium Xbrl largement composé de sociétés de
comptabilité. J’ai été directement impliqué dans OASIS et
à l’occasion d’un prochain article je décrirai quelques uns
des standards qui proviennent d’OASIS.
La plupart des acronymes de plus de 3 lettres qu’on
entend ces jours sont les noms de standards existant ou
émergeant ou bien des consortiums qui les produisent: UML,
UBL, WS*, SOAP.
Logiciel ouvert, standard ouvert,
logiciel libre
La communauté des standards est en ce moment agitée
par un débat sur le sens exact du mot ouvert. Plusieurs organifi 6 – 28 juin 2005 – page 19