Dossier de montage de l`architecture cluster de PC

Transcription

DESCRIPTIF DES BESOINS DE CALCULS
SCIENTIFIQUES SUR ARCHITECTURE
DEDIEE
Institut de recherche
pour le développement
DEMANDE DES UNITES DE RECHERCHE 103 ET 65 DU CENTRE DE NOUMEA,
SEPTEMBRE 2004
Groupe de travail
Pascal Douillet, resp. Scientifique UR 103 ([email protected])
Alexandre Ganachaud, resp. Scientifique UMR 65 ([email protected])
Jérôme Lefèvre, resp. Informatique UMR 65 / UR 103 ([email protected])
Michel Ménézo, resp. Informatique IRD, Centre Nouméa ([email protected])
Avec la participation de :
Franck Delmas, IFREMER Brest (Code MARS 3D)
Patrick Marchesiello, IRD Brest (Code ROMS)
SOMMAIRE
1. Objet....................................................................................................................... 2
2. Besoins en calculs intensifs des UR 65 (Legos) et 103 (Camelia).................... 3
2.1. Thèmes de recherche de l’UMR 65 .................................................................. 3
2.2. Thèmes de recherche de l’UR 103 ................................................................... 5
2.3. Les types d’utilisation ....................................................................................... 8
3. Définition du matériel informatique adapté aux besoins................................... 9
3.1. Critères de définition......................................................................................... 9
3.2. Configuration matérielle proposée et offres.................................................... 10
3.3. Avantages / inconvénients.............................................................................. 14
3.3. L’offre OS ....................................................................................................... 15
3.4. Compétences et demande d’assistance ........................................................ 17
4. Exemple de plateformes de calcul dédiées à la dynamique des fluides
installées dans d’autres organismes de recherche publique en France ........... 18
4.1. Tour d’horizon des plateformes de calcul ....................................................... 18
4.2. Quelques exemples de plateformes utilisées pour des applications CFD
(Computational Flow Dynamic).............................................................................. 18
Bibliographie ........................................................................................................... 20
ANNEXE 1 Détail des deux configurations matérielles fondées sur des nœuds
bi-processeurs
ANNEXE 2 Dépouillement des offres commerciales
ANNEXE 3 Extrait des notes d’évaluation des performances de calcul des
machines disponibles localement en vue de l’implantation du code ROMS au
Centre de Nouméa
ANNEXE 4 Le modèle hydrodynamique Mars
ANNEXE 5 A propos du processeur AMD Opteron
Descriptif des besoins de calculs scientifiques sur architecture dédiée,
Centre IRD de Nouméa, Septembre 2004
1
1. Objet
Le présent dossier expose les besoins en matériel de calcul scientifique intensif
exprimés par les UR 103 (CAMELIA) et UMR 65 (LEGOS) du centre IRD de
Nouméa.
Les activités de recherche des UR 103 et 65, axées respectivement sur les
conséquences des activités anthropiques sur les eaux marines côtières en milieu
tropical insulaire et sur l’étude de la circulation océanique à l’échelle du Pacifique
Sud-Ouest, emploient des modèles numériques de circulation à grande et petite
échelle, basés sur la méthode des différences finies. Les échelles des phénomènes
étudiés et des domaines couverts nécessitent un minimum de moyens de calcul pour
être effectués sur place. Les récentes et futures simulations portent également sur
l’intégration dans les modèles de circulation de modules sédimentaires, biologiques
et géochimiques, certains mis au point localement. Ces développements impliquent
une augmentation de la charge de calcul, assurée jusqu’ici au moyen de station de
travail. Les besoins actuels et exprimés à court terme impliquent des délais de calcul
déraisonnables avec les moyens actuels. D’autre part, les pays insulaires de la
région sont intéressés par des simulations numériques dans leur lagon ou autour, et
le renforcement de projet régionaux impliquera une augmentation des demandes
locales.
Ce dossier expose en première partie les besoins de chaque UR, replacés dans le
contexte scientifique et technique. En seconde partie, une étude technique présente
le matériel informatique que nous croyons adapté à ces besoins et les compétences
nécessaires pour sa mise en place et son administration. Des tableaux financiers
accompagnent l’évaluation des solutions retenues ainsi que leur principaux
avantages/inconvénients.
Le troisième volet présente des exemples de solutions de calculs, utilisés dans le
cadre de thématiques scientifiques similaires.
2
2. Besoins en calculs intensifs des UR 65 (Legos) et 103 (Camelia)
Les deux UR ont en commun d’employer des codes de calcul portant sur la
modélisation de la circulation hydrodynamique, avec le modèle ROMS (Regional
Ocean Modelling System) pour l’extérieur du lagon (UMR 65) et M A R S pour
l’intérieur du lagon (UR 103).
2.1. Thèmes de recherche de l’UMR 65
Le groupe ECOP rattaché au
Laboratoire
en
Etudes
Géophysiques
et
Océanographie Spatiale (LEGOS) développe actuellement une étude de la
circulation océanique régionale sur l'ensemble du Pacifique Sud-Ouest avec un
zoom autour de la Nouvelle Calédonie et des îles de Polynésie Française. Cette
étude inclura des mesures satellites. En 2005, un modèle opérationnel devrait être
produit, imbriqué dans les champs de prévision du projet opérationnel Français
MERCATOR. L’exercice de ces thématiques nécessite l’emploi d’un modèle
numérique de circulation capable à la fois de restituer la réponse des phénomènes
climatiques de variabilité annuelle et inter-annuelle observée à l’échelle régionale et
rendre compte de la circulation côtière à l’approche des archipels de NouvelleCalédonie et de la Polynèsie Française. Les enjeux économiques pour les activités
de pêche hauturières et les activités environnementales nécessitent d’aboutir à une
restitution et une prévision de l’évolution des fronts thermiques et halins et des
champs de vitesse à une échelle côtière. Ce projet d'océanographie côtière est cofinancé par le programme ZoNeCo (Nouvelle Calédonie), le Ministère de l'Outre Mer
et l'IRD.
Le modèle ROMS a été retenu dans le cadre de ces chantiers. Ce code 3D et qui
emploi un schéma aux différences finies, est développé sous la supervision
d’Herman Arango et Dale Haidvogel (Université Rutgers, New-Jersey). Au sein de
l’IRD, Patrick Marchesiello et Pierrick Penven (UR097, IRD Brest), apportent leur
contribution à l’évolution du code. Parmi les dernières options innovantes du code,
citons les fonctions de zoom et de raffinement (logiciel AGRIF, INRIA) issues du
travail collaboratif entre l’IRD, l’INRIA et l’UCLA (University of California at Los
Angeles). Cet outil, à condition de disposer de moyens de calculs adaptés, permet de
concevoir sereinement la modélisation des écoulements côtiers à une échelle
appropriée (de l’ordre de 1 à 2 km à la côte et 10 km au large) en recourant aux
fonctions de zoom.
Aspects informatiques du code
Dès les premières versions, le code a été parallélisé pour bénéficier des plateformes
à mémoire partagée (Sun, SGI, etc). Le code comprend les directives OpenMP, pour
être employé sur ce type de plateforme.
3
L’algorithme de calcul fait également appel à la bibliothèque d'échanges de
messages MPI (Message Passing Interface) pour les architectures à mémoire
distribuée (grappe de PC).
La technique de parallélisation consiste à décomposer le domaine de calcul en sous
domaines, de manière explicite. Avant compilation du programme, l’utilisateur
déclare un nombre de sous domaine égal au nombre de processeurs (ou multiple,
pour les plateformes à mémoire partagée). Chaque processus parallèle gère alors de
manière autonome son propre sous domaine et est défini une seule fois pour tout le
reste de l’exécution du programme.
La méthode de parallélisation est particulièrement efficace et offre une grande
‘’scalabilité’’ (augmentation linéaire de la performance avec le nombre de
processeurs).
Localement, le compilateur fortran Intel Version 8 (qui supporte les directives
OpenMP) a été employé pour des tests préliminaires (cf Annexe 3). Le code a été
exécuté en mode parallèle sur un bi-processeur Pentium III sous Linux et les
performances comparées avec des plateformes monoprocesseurs plus récentes. Les
temps de calcul obtenus sur une grille comportant 544 000 points sont les suivants :
Fig.1 Temps de calcul observés pour 3 machines testées au centre de Nouméa
Configuration
Tiki Pentium III Bi-Processeur
Nb CPU
1 itération
1 mois
1 année
1002 Mhz, cache 256 ko, SSE
oui, SSE2 non, HT non
Mémoire : SDR 133 Mhz 1,5 GO
1 x 1002 Mhz
36,5 s
50,5 heures
606 heures
2 x 1002 MHZ
13 s
18,0 heures
216 heures
Boris Pentium IV
1 x 1615 Mhz
7s
9,7 heures
116.4
heures
1 x 2940 Mhz
4,7 s
6,5 heures
78 heures
oui, SSE2 oui, HT non
Mémoire : DDR 266 Mhz 512 MO
Pentium IV P4P8X
oui, SSE2 oui, HT oui
Les résultats obtenus au cours des tests mettent en relief :
- le gain évident de performance de calcul en mode parallélisé (Fig. 1), qui montre les
perspectives d’augmentation de la vitesse d’exécution sur un cluster composé de
machines récentes, qui plus est composé de nœud bi-processeur
- le gain appréciable apporté par le partitionnement du domaine, qui permet d’aboutir
à un jeu de bloc de données de taille équivalente à la mémoire cache. L’exécution du
code s’en trouve améliorée (cf. Annexe 3).
4
Adéquation des moyens avec les objectifs
Il apparaît que les dernières machines du Centre constituées de pentium IV
monoprocesseur sont suffisantes pour l’exécution du code sur des domaines à
moyenne échelle, dans le cas d’une résolution inférieure à 1/10° et des périodes
simulées de quelques mois. Par exemple, 6 mois de simulation sur une machine
cadencée à 3 GHz nécessiterait 36 heures.
Au-delà, dans le cadre de l’étude affinée de processus côtiers nécessitant l’emploi de
maillages imbriqués avec une résolution plus fine (1 à 2 km) et pour des périodes
d’intégration plus longue (recherche d’un état d’équilibre, nécessitant plusieurs
années d’intégration, par exemple), les temps de calculs deviennent difficilement
acceptables. En effet, les fonctions de zoom pénalisent l’exécution du code, en fixant
un pas de temps adapté avec la maille la plus petite. De même, si l’on active les
modules biologique, sédimentaire et biochimique.
Les solutions envisageables sont alors celles pour lesquelles le code est prévu,
multiprocesseur ou grappe de PC (cluster).
2.2. Thèmes de recherche de l’UR 103
L’Unité de Recherche 103 (Camélia) étudie l’influence des apports terrigènes et
anthropiques sur les lagons de Nouméa et de Suva (Fidji). Les principales questions
scientifiques posées sont les suivantes :
Quels sont les mécanismes de transport et de transformation des principaux agents
d’influence terrigènes et anthropiques au niveau de la zone côtière tropicale ?
Quels sont les effets des apports terrigènes et anthropiques en terme d’eutrophisation des
systèmes et de bioaccumulation des métaux dans les organismes marins ?
Dans quelle mesure la modélisation permet-elle de rendre compte de ces mécanismes de
transport et de transformation ?
L’UR Camélia a pour objectif principal de déterminer comment l’homme influence les
écosystèmes littoraux du Pacifique. Dans ce cadre, Camélia s’intéresse plus
spécifiquement aux apports :
en particules entraînées par l’érosion des sols et sous-sols qui sont responsables du
processus d’hypersédimentation,
en éléments nutritifs organiques et inorganiques qui sont responsables du processus
d’eutrophisation,
en métaux qui peuvent s’avérer potentiellement toxiques pour les organismes vivant
dans le lagon.
5
Les actions de recherche ont été définies de façon à apporter des réponses aux
questions scientifiques suivantes :
Quels sont les mécanismes de transport et de transformation des principaux agents
d’influence terrigènes et anthropiques au niveau de la zone côtière tropicale ?
Quels sont les effets des apports terrigènes et anthropiques en terme d’eutrophisation
des systèmes et de bioaccumulation des métaux dans les organismes ?
Dans quelle mesure la modélisation permet-elle de rendre compte de ces mécanismes
de transport et de transformation ?
Pour répondre à ces questions, l’UR à mise en place un réseau de modèles
numériques couvrant les différents domaines de recherche. A la base, nous avons
développé un modèle hydrodynamique du lagon sud-ouest à partir du modèle
MARS3D de l’IFREMER, le modèle de génération et de propagation des vagues
WaveWatch III a ensuite été adjoint. Depuis nous avons couplé à ces deux modèles
un modèle de transport des vases et sables. Un modèle de production primaire
couplé au modèle hydrodynamique est en cours de développement dans le cadre de
la thèse de Vincent Faure (Univ. Marseille) et devrait être opérationnel début 2005.
Enfin l’UR travaille sur les possibilités d’adaptation d’un modèle atmosphérique à la
Nouvelle-Calédonie et au lagon sud-ouest.
Bathymétrie
Marée
1980-90’s
1998
Circulation
mésoéchelle
Vent
Modèle 3D 2004
Courants
Modèle 3D 1999
Vagues
Turbulence
l -> k-l 2004
Modèle Wavewatch III
2002-2003
Transport particulaire
Modèle ‘Vases’ 2000-2003
Modèle ‘Sables’ 2001-…
Modèle
Biogéochimique
Fig. 1 Organisation des activités de modélisation physique au sein de l’UR Camélia.
La circulation mésoéchelle n’a pas d’influence sur la circulation dans le lagon sudouest, qui n’est ouvert à l’extérieur qu’au niveau des passes.
Le modèle MARS 3D (Cf. Annexe 4) est un modèle tri-dimensionnel qui utilise un
schéma aux différences finies à surface libre. Il est développé par l’IFREMER
6
(Pascal Lazure), qui l’applique sur les façades côtières Française. Les équations
hydrodynamiques sont portées sur un maillage isotrope. Le code comporte
également des fonctions de zoom et de raffinement (Logiciel AGRIF). L’outil est
destiné à servir de module hydrodynamique principal appliqué au lagon de NouvelleCalédonie et de Fidji. Les développements portent sur l’intégration de modules
particulaires, biologiques et bio-géochimiques. ….
Le modèle du lagon sud-ouest de Nouvelle Calédonie couvre une zone de 170 km
de long sur 50 km de large. Les grilles du maillage ont actuellement une taille de 500
mètres mais seront augmentées de manière à s’adapter à la physique des
phénomènes étudiés et à la bathymétrie, marquée par de fort gradient de pente. La
résolution verticale est de 21 niveaux. Les travaux de mise au point et de couplage
au modèle hydrodynamique des modules particulaires, biologiques la prise en
compte de nouveaux paramètres tel le déplacement des larves aboutira à une
augmentation des paramètres et des équations à résoudre numériquement. L’étude
du transport particulaire et de la production primaire est au stade de la
compréhension des processus. Cette phase implique la multiplication des runs avant
d’aboutir à des modèles calibrés et validés.
Aspects informatiques du code
La version officielle du code MARS 3D incorpore déjà les directives de compilation
OpenMP permettant son exécution parallèle sur une architecture à mémoire
partagée.
Franck Dumas (IFREMER) développe actuellement la version MPI de MARS. Les
tests réalisés sur un cluster de PC montre une bonne performance d’exécution du
code (speed-up de l’ordre de 13 pour une configuration 16 processeurs) et des
conditions de simulation réalistes sur grande grille (400 x 500 mailles). Bien que le
projet soit à l’état de prototype, une version exécutable sur plateforme à mémoire
distribuée devrait être disponible dans quelques mois.
7
2.3. Les types d’utilisation
Les objectifs d’études de la circulation côtière mobilisant la ressource de calculs se
traduisent par exemple de la manière suivante pour le code ROMS (UMR 65) :
Courant 2004, 2ème semestre
- Etude des événements d’Upwelling : Identification des sources de forçage et réponse
hydrodynamique du phénomène sur la côte Ouest de la Nouvelle-Calédonie. Scénarios
saison froide / saison chaude pour différentes conditions de vent.
- Développement du modèle ROMS sur un maillage fermé par les latitudes 10°S et 26°S
et par les longitudes 153° et 180°E autour de la Nouv elle-Calédonie. Elaboration d’une
bathymétrie adaptée aux échelles des domaines et phénomènes physiques étudiés.
Préparation et validation des données climatologiques disponibles et runs pour
vérification préliminaire de la qualité des solutions.
Courant 2005 (Sous condition de moyens de calculs dédiés)
- Préparation des maillages emboîtés par méthode de zoom (passage progressif de 10
km à une résolution à la cote de 1 km) et vérification des conditions de convergence /
critères de stabilité aux zones frontières.
- à partir d’une solution stable, étude de la circulation côtière sous l’effet du vent, des flux
de chaleur, de la marée .... Amélioration des connaissances sur les phénomènes côtiers
localisés (Upwelling, dynamique des structures thermo-halines, ondes internes,
variabilité saisonnière des champs de température et courant …). Scénario et runs tests
pour analyse des processus et qualité des solutions en fonction des données
climatologiques et de forçage
2005/2006
- Extraction des conditions aux limites de MERCATOR sur la zone régionale (Utilisation
de l'interface développée par P. Marchesiello, Pierrick Penven et V. Echevin (IRD)).
Etablissement d’une circulation générale stable et cohérente et analyse de la circulation
basse et haute fréquence, apport du forçage océanique sur les conditions de circulation
côtière. Validation / Calibration des solutions
- Etablissement d’une plateforme d’Océanographie opérationnelle appliquée à la
Nouvelle-Calédonie.
Cette démarche appliquée à la Nouvelle-calédonie est également prévue dans le cas de
l’étude de la circulation côtière dans la ZEE de la Polynésie Française.
Dans le cas du code MARS 3D (UR 103), les différentes étapes de mise au point des
modèles et de leur calage mobiliseront la ressource dans une proportion équivalente.
La mise au point du modèle de production primaire, sa validation à l’aide d’imagerie
spatiale nécessitera en 2005 l’utilisation intensive de ce cluster. Le développement
du modèle atmosphérique demandera, pour sa mise au point, de fortes capacités de
calcul en 2005 et 2006. En 2005 et 2006 les résultats du chantier Calédonien, en
terme de modèle, seront transposé au chantier Fidjien.
8
3. Définition du matériel informatique adapté aux besoins
3.1. Critères de définition
Le matériel est principalement dédié au calcul scientifique intensif, faisant interface
entre les ressources des centres de calcul nationaux et les applications régionales.
Nœuds de calcul
CLUSTER
SWITCH Gigabit
Connection
Gigabit
Serveur de calcul
Sauvegarde
rapide
sur SATA Raid 0
(job, serveur de
fichiers)
Connection
Gigabit
Sauvegarde sécurisée
sur SATA en Raid 1
Frontale (exploitation
des données)
Connection
vers le centre
Fig. 2 Synoptique de l’architecture de calcul envisagée
La performance de calcul (précision et rapidité) est particulièrement recherchée. Le
calculateur disposera d’un réseau de communication privé à haut débit, desservant
les nœuds de calculs. Le calculateur est doté d’un système de sauvegarde rapide
des données en cours de simulation (1er niveau), moyennant les ressources du
serveur de calcul. Une sauvegarde de 2nd niveau, visant la sécurité des données, est
effectuée sur une machine frontale. Les données sauvegardées sur les disques
‘’mirorés’’ du frontal concernent principalement les sorties validées des modèles et
les tableaux de données employées pour l’alimentation des modèles.
La solution devra offrir une souplesse d’évolutivité en fonction de la montée en
puissance des besoins de calculs, avec possibilité d’ajout de nœuds de calcul par
exemple. Une maintenance réduite et un remplacement des pièces défectueuses
avec des pièces accessibles localement constituent également un critère important,
compte tenu de la position géographique du Centre.
L’architecture doit être compatible et offrir une bonne performance vis-à-vis des
problèmes soumis et des méthodes de parallélisation adoptées dans les codes.
9
Côté administration, le système doit offrir une ergonomie d’installation, de
surveillance, de mise à jour (logiciel et matériel) et correspondre si possible à des
solutions OS déjà connues au Centre (solutions Redhat, Mandrake). En outre, il
devra permettre de gérer une architecture homogène ou hétérogène, dans le cas par
exemple de l’incorporation de nœuds de calcul basés sur une technologie différente.
L’architecture proposée est un cluster ‘‘Beowulf’’ de classe I, composé de nœuds
mono et/ou bi-processeur. Le cluster de classe I est composé de PC accessibles
dans les magasins informatiques grand public et auprès des assembleurs. Ces
solutions sont couramment utilisées dans les laboratoires de calculs, notamment
dans les domaines des Sciences de la mer, de la Terre, du Climat, de
l’Environnement, en génie Bio-Médicale, Mécanique des structures etc...
3.2. Configuration matérielle proposée et offres
La configuration matérielle proposée est basée sur les configurations similaires
utilisées dans les centres de calculs employant des clusters de PC. Les dernières
technologies en la matière disponibles sur le marché et réputées fiables sous Linux
sont également considérées (carte mère, processeur, switch, carte raid etc.).
Pour l’évaluation budgétaire de la solution, 2 pistes ont été explorées :
L’évaluation de 3 configurations sur la base des prix du marché métropolitain
augmenté de 30 % pour taxe et frais d’expédition (source : www.LDLC.fr,
vente en ligne)
L’évaluation de 2 configurations sur la base des prix du marché local, après
consultation des fournisseurs
Une description plus complète des configurations matérielles fondées sur des nœuds
bi-processeurs figure en Annexe 1.
10
A / Résultats des configurations issues des consultations en ligne, marché
métropolitain
Les 3 configurations proposées, par ordre décroissant de performance (et de coût),
sont les suivantes :
Configuration 1 : Serveur Bi-Opteron 2.0 Ghz + 4 Nœuds Bi-Opteron 2.0 Ghz
Master
2 opterons 246 2.0 ghz
MB : Tyan K8S
PC3200 4 x 512 Mo
4 DD serial ATA 200 Go + contrôleur raid 0
Carte ATI entrée de gamme
Ecran 17’’, clavier …
OS : ROCKS / OSCAR / CLIC
Nœuds
2 opterons 246 2.0 ghz
MB : Tyan K8S
PC3200 4 x 512 Mo
DD ATA 40 Go
Réseau
SWITCH 3COM 12 ports 24 Gbps Wirespeed
Cartes PCI Gigabit Cuivre Full Duplex, câble …
Prix indicatif : 18 000 Euros *
Configuration 2 : Serveur Bi-Xeon 3.0 Ghz + 4 Nœuds Bi-Xeon 3.0 Ghz
Master
2 x Xeon 3.0 cache 512 FSB 533
MB : ASUS PC-DL Deluxe
PC3200 4 x 512 Mo
Nœuds
PC3200 4 x 512 Mo
DD ATA 40 Go
Réseau
Configuration 3 : Serveur Bi-Xeon 3.0 Ghz + 8 Nœuds Pentium IV 3.0 Ghz
Master
PC3200 4 x 512 Mo
Nœuds
Pentium IV 3.0 512 FSB 800
MB : ASUS P4P800
PC3200 4 x 512 Mo
DD ATA 40 Go
Réseau
A ces coûts s’ajoute le serveur frontal. Ce serveur permet la sauvegarde sécurisée
des données sur disques ‘’mirorés’’ (disques sata 400 Go) et leur
consultation/exploitation, sans pénaliser l’exécution des sessions de calculs. Il est
11
doté de deux cartes réseaux gigabit, l’une reliée au réseau du centre, l’autre au
serveur de calcul :
Frontale (commune aux trois configurations proposées)
Frontale
Pentium IV 3.0 512 FSB 800
MB : ASUS P4P800
PC3200 4 x 512 Mo
2 DD SATA 400 Go + contrôleur raid 1
Carte ATI 9600 256 Mo
Ecran 19’’, graveur DVD, clavier …
2 cartes PCI Gigabit
OS : Mandrake
* Les évaluations financières sont établies sur la base des tarifs HT des composants
en France + 30 % (frais de port et taxe)
12
B / Résultats des consultations locales
Les deux premières configurations précédentes, cluster composés de bi-processeurs
Xeon ou Opteron, ont été soumises pour évaluation auprès des fournisseurs de la
place. Les configurations matériels objets des consultations sont détaillées en
Annexe 1.
Le résultat du dépouillement des offres commerciales se trouve en Annexe 2. La
synthèse est restituée ci-dessous. En jaune figure la proposition commerciale nous
paraissant offrir le meilleur compromis Coût / Performance.
Fournissseur
Configuration A dual
Xeon + Frontale
Spécificités
Performances
Configuration B dual
Opteron + Frontale
Spécificités
Performances
Commentaire
Fournissseur
Configuration A dual
Xeon + Frontale
Spécificités
Performances
Configuration B dual
Opteron + Frontale
Spécificités
Performances
Commentaire
Barrau Bureau
Barrau Bureau
Bull
48 392,84 €
35 824,51 €
25 140,01 €
Bi-Pro Xeon 3.6 Ghz/800 MHz 1Mo L2
(serveur)
2 X 512 MB PC 3200 ECC (serveur)
IBM ServerRaid SATA Controller (serveur)
2 Disques IBM 160 GB SATA 7200 RPM
(serveur)
Bi-Pro Xeon 3.4 Ghz/800 MHz 1MB L2 (noeud)
2 X 512 MB PC 3200 ECC (noeud)
Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2
(serveur)
4 x 512 MB PC 2100 ECC (serveur)
Adaptec SATA RAID Controller (serveur)
2 Disques Seagate 200 GB SATA (serveur)
(noeud)
4 x 512 MB PC 2100 ECC (noeud)
Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (serveur)
Carte PCI SATA RAID FastTrack S150SX4 (serveur)
2 Disques 250 GB SATA 7200 rpm (serveur)
Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2 (noeud)
+++
++
++
45 306,49 €
37 240,73 €
/
Bi-Pro Opteron 248 2.2 Ghz 1Mo L2 (serveur)
2 Disques IBM 160 GB SATA 7200 RPM
(serveur)
Bi-Pro Opteron 246 2.0 Ghz 1Mo L2 (noeud)
++++
Solution IBM IntelliStation Haut
de gamme
Office Plus
19 022,61 €
(serveur)
Carte Adaptec SATA RAID 2410 SA Controller
(serveur)
2 Disques 200 GB SATA (serveur)
(noeud)
+++
Solution IBM IntelliStation Version Solution BULL Express5800
"économique"
Office Plus
Cyber Media
31 290,93 €
Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2
(serveur)
(serveur)
Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2 (noeud)
17 043,18 €
Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (serveur)
(serveur)
Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (noeud)
4 x 512 MB PC 3200 ECC (noeu
++
+++
++
22 626,01 €
/
/
(serveur)
+++
Solution assembleur Carte Asus Solution DELL Precision
(Xeon) Carte Tyan (Opteron)
Workstation 670
Solution assembleur Carte Asus
(Xeon)
Ces propositions locales ne comprennent pas le matériel portant sur le réseau
(Switch et connectiques). Les tableaux suivants détaillent les propositions
commerciales pour ce matériel spécifique.
13
Proposition INMAC (www.inmac.fr)
Switch 3COM 12 ports: capacité de commutation 24 Gbps (Wirespeed performance)
Départ France
3COM SWITCH 12*10/100/1000 4*MINI-GBIC
Rendu Nouméa
1 000,00 €
Fabricant : 3Com
Réduction 10%
1 080,00 €
100,00 €
Câbles pour réseaux gigabit
CORDON RJ45 CAT5+ 3M UTP GRIS
SURMOULE Fabricant : Siecor
Départ France
Nb
Rendu Nouméa
13,00 €
6
93,60 €
Les logiciels (Compilateurs, OS, bibliothèque de fonction…) ne sont pas compris.
Pour idée, le compilateur Fortran ou Portland 64 bit représente un coût de l’ordre de
600 euros.
3.3. Avantages / inconvénients
Commentaires généraux
Ces architectures permettent l’exécution en mode parallélisé des codes ROMS et
MARS 3D, ces derniers comportant déjà les instructions de la bibliothèque de
communication MPI (Message Passing Interface) leur permettant de s’exécuter sur
les architectures proposées. De plus, les codes ont déjà été testés avec succès sur
architecture Cluster Linux.
De manière générale, la configuration matérielle proposée (cluster de PC) est
compatible avec les différents modes de programmation parallèle, fondés sur le
parallélisme des données et des tâches, sous condition que les codes intègrent les
instructions de ‘’message passing’’ (librairie de communication MPICH, PVM, LAM
…). Les codes parallélisés, qualifiés de portable, incorporent systématiquement ces
instructions.
Ces configurations sont également modulables en jouant par exemple sur l’ajout de
nœuds de calcul (mono ou bi-processeur).
La configuration comportant des bi-processeurs offre l’avantage de bénéficier des
vitesses de communication entre les processeurs embarquées sur la même carte. La
configuration comportant des Opterons (AMD) permet en outre de profiter de la
mémoire cache de second niveau élevé (1024 ko) et de la performance de ce
processeur en raison de sa technologie. L’Opteron cadencée 2 ghz offre en effet des
14
performances supérieures comparées au Xeon cadencée 3 ghz ou au pentium IV (cf.
Annexe 5). Les derniers Xeons avec mémoire cache 1 Mo et 2 Mo arrivent tout juste
à le concurrencer mais présentent un coût élevé. Par contre, pour gagner en
performance, l’architecture 64 bit (Opteron) nécessite l’achat d’un compilateur fortran
dédié (de l’ordre de 600 euros, solution Portland ou Intel), alors que sur architecture
32 bits, des compilateurs performants sont disponibles gratuitement (solution ifc IA32
d’Intel, libre sous Linux).
Pour des raisons de performance, le nœud de calcul bi-processeur Opteron est
préféré.
Commentaires sur les offres
Les réponses des fournisseurs locaux nous ont permis de constater que du matériel
répondant à nos attentes était disponible localement, à des prix finalement
comparables avec les solutions d’achat direct en France. Ainsi, à configuration égale,
on peut tabler, à partir de l’offre Office Plus, sur un coût matériel de 23 800 euros
(Serveur + Nœuds + Frontal + Réseau) contre 20 100 euros en Métropole (frais de
port et taxes inclus).
Le principal avantage à se fournir localement est de permettre une maintenance et
un retour pour pièces défectueuses plus rapide et sans frais d’expédition.
Les offres basées sur les marques (IBM, DELL, Bull) n’offrent pas davantage de
performances par rapport à des solutions assembleurs, sauf pour le haut de gamme
IBM proposé par Barrau Bureau (mais dont l’offre vaut l’achat de 2 clusters !).
3.3. L’offre OS
Parmi les solutions disponibles, les choix peuvent porter préférentiellement sur les
produits OSCAR, ROCKS et MandrakeClustering. Ce dernier étant payant (2500
euros). ROCKS (noyau RedHat) comporte une version supportant l’Opteron 64 bits.
En plus d’être gratuit, ce dernier comporte des outils Open Source réputés pour une
installation et une administration aisée du cluster. Il intègre également les principales
librairies de communication MPICH, PVM … pour le calcul parallèle.
D’autres librairies et applications dédiées devront être installées en fonction des
besoins. Certains sont payants selon les architectures. Par exemple l’architecture 64
bit nécessitent l’achat d’un compilateur fortran dédié (solution Portland ou Intel) si
l’on souhaite bénéficier des gains de performance liés à cette architecture (10 à 20 %
de gain selon les applications).
15
Fig. 3 Aperçu du moniteur de statut et gestion des ressources sous Ganglia
(Outil OpenSource, sous ROCKS)
16
3.4. Compétences et demande d’assistance
L’installation d’un cluster ‘‘Beowulf’’ est gérable par les informaticiens du centre IRD
de Nouméa. Nous recherchons ici l’architecture compatible avec les applications
parallèles visées et qui puisse offrir le meilleur compromis Performance/Evolutivité.
Pour cela, nous avons consulté les développeurs des codes concernés (IRD
Brest pour ROMS, IFREMER pour MARS 3D) et les concepteurs des
nouveaux codes dont l’exécution est prévue sur le Centre de Nouméa.
Nous sollicitons également une assistance technique auprès de la DSI sur le
conseil en matière d’architecture / composants / OS, notre proposition pouvant
servir de base. Une consultation interne à la DSI est jugée suffisante. De notre
côté, des démarches de consultation auprès des développeurs des codes et
laboratoires de calculs sont en cours, afin d’affiner nos choix.
Le Service Informatique du Centre de Nouméa pourra installer les matériels et les
systèmes
d’exploitation
et
procéder
aux
premiers
tests.
En 2003, Jérôme Lefèvre (LEGOS) a eu l'opportunité de tester et comparer
l’installation des solutions OSCAR et CLIC 2 sur un cluster ‘‘Beowulf’’ composé de 3
nœuds. Son expérience sera mise à contribution lors de la configuration du système.
Pour la programmation parallèle de ROMS, déjà portable sous LINUX, une
assistance est assurée par l’UR097 (IRD, Patrick Marchesiello et Pierrick Penven).
Pour le code MARS 3D, un travail collaboratif avec Franck DELMAS (IFREMER), qui
développe actuellement la version MPI, pourra être mis en place.
17
4. Exemple de plateformes de calcul dédiées à la dynamique des
fluides installées dans d’autres organismes de recherche publique
en France
4.1. Tour d’horizon des plateformes de calcul
Le CEA, le CNRS et l'INRIA ont créé une structure de collaboration pour le
développement et la diffusion du calcul parallèle : l’organisation ORAP (ORganisation
Associative du Parallélisme). Outre ses missions visant le renforcement des
collaborations entre partenaires nationaux, européens et internationaux dans le
cadre du calcul parallèle, l’ORAP réalise une veille technologique et un état des lieux
du calcul scientifique en France.
Leur site Web http://maply.univ-lyon1.fr/spip/rubrique.php3?id_rubrique=2 dresse un
recensement des ressources matérielles informatiques en rapport avec le calcul
intensif. Sur ce site, un tour d’horizon permet de s’informer des architectures
employées dans les grands centres technologiques, les Universités, les Laboratoires,
les entreprises….
4.2. Quelques exemples de plateformes utilisées pour des applications
CFD (Computational Flow Dynamic)
IFREMER : Pôle de calcul Intensif pour la mer
Le calculateur ‘’Nymphea‘’ se compose d'un « cluster » de 9 nœuds COMPAQ ES45,
quadri-processeurs, connectés par « switch » Quadrix. Les processeurs sont des
processeurs Alpha EV68 cadencés à 1GHz. Sa mémoire globale est de 92
GigaOctets. L’OS est Tru64 UNIX. Ressource partagée avec le SHOM et l’IRD. Le
code ROMS est régulièrement exécuté desus.
Problématiques : Hydrodynamique, Calcul de structure, Biochimie, Applications
couplées (ex. : hydrodynamique et chimique), développement de code parallélisé
SHOM :
Serveur P655, 64 processeurs (IBM Power4 1.7Ghz), totalisant une puissance
théorique de 435 Gflops.
Problématique : traitement de l’information des missions hydro-océanographiques.
BRGM :
Calculateur basé à Orléans : Grappe PCs Intel, composé de 8 nœuds bi-processeurs
Xeon 3.06 GHz. Puissance théorique : 49 Gflps.
Problématiques : Hydrogéologie, Environnement, Géomécanique.
18
CEMAGREF :
Calculateur basé à Aubière : Grappe PCs Intel, composé de 24 nœuds biprocesseurs Xeon 2.4 GHz. Puissance théorique : 230 Gflps, réseau gigabit.
Problématiques : Environnement, hydrologie, CFD. Les codes utilisés sont soit des
codes internes écrits en C, C++, Fortran et Java ou des codes propriétaires tels que
FLUENT.
EDF :
Calculateur
Nb CPU
Perf. crête
Réseau
DELL 420 bi-PIII 800MHz 4Go
8 bi-processeurs
15 Gflps
myrinet cuivre 1.2 Gbit/s
Dataswift bi-Xeon 3.06 Ghz
16 bi-processeurs
180 Gflps
Ethernet Gigabit
Dataswift bi-Opteron 1.8 GHz
8 bi-processeurs
60 Gflps
myrinet fibre 2 Gbit/s
IBM Xeon MP 2.8 GHz 8 Go
4+2x2
40Gflps
Ethernet Gigabit
HP X4000 bi-Xeon 2.2 GHz 2Go
10 bi-processeurs
90 Gflp
myrinet cuivre 1.2 Gbit/s
Fujitsu bi Athlon 1800+ 2 Go
16 bi-processeurs
40 Gflps
Scali
DELL 530 bi-Xeon 2.4 GHz 2Go
8 bi-processeurs
64 Gflps
Ethernet 100 Mbit/s
32 bi-processeurs
275 Gflps
Ethernet Gigabit
32 bi-processeurs
275 Gflps
Ethernet Gigabit
Problématiques : Calcul scientifique et modélisation numérique, Mathématiques
financières, CFD (écoulements multiphases, couplage thermo-chimique)
INRIA (Sophia Antipolis)
Calculateurs :
Cluster bi-Xeon 2 Ghz, 16 bi-processeurs, carte intel Pro/1000 gigabit, réseau
Gigabit-Ethernet, OS Linux 2.4.17/glibc2
Cluster bi-pentium III 933 Mhz, 19 bi-processeurs, réseau Fast-Ethernet Full Duplex
(Summit48), OS Linux 2.4.17/glibc2
Cluster bi-Pentium III 500 Mhz, 14 bi-processeurs, OS Linux 2.4.17/glibc2
Problématiques : Toutes disciplines impliquant du calcul scientifique
Centre Commun de Calcul Intensif (C3I) de Guadeloupe
Calculateur HP-Compaq SMP muni de 12 processeurs EV7 cadencés à 1.15Ghz, 12
Go de mémoire vive et de 400 Gigaoctets de mémoire de masse en disques RAID
Cluster Intel muni de 17 noeuds mono-processeur
Problématiques : Météorologie, Environnement.
19
Bibliographie
Littérature consultée
Cluster Computing, Architectures, Operating Systems, Parallel Processing &
Programming Languages, Richard S. Morrison (Document pdf)
Beowulf HOWTO (source : http://www.ixus.net/howto.php)
Beowulf
Tutorial
:
Building
a
Beowulf
http://www.cacr.caltech.edu/beowulf/tutorial/building.html)
System
(source
:
ROMS/TOMS User Manual : http://marine.rutgers.edu/po/documentation/docs.php
ROMS AGRIF
et ROMS TOOLS User Manual
(IRD, Centre de Brest)
http://www.brest.ird.fr/personnel/ppenven/Roms_tools/index.html).
OS dédiés cluster
Site de MandrakeClustering : http://www.mandrakesoft.com/products/clustering)
Site de rocks, dont doc pdf : http://www.rocksclusters.org/rocks-documentation/3.2.0/
Site d’Oscar : http://oscar.openclustergroup.org
Guide d’installation de MandrakeClustering 1.0
The Steps Required to
(htp://oscarsourceforgenet/)
Install
an
OSCAR
Cluster,
Version
1.2.1
Sites
Conception d’un système à
haute performance, CETMEF - Ministère de
l’equipement, des Transports, de l’Aménagement du Territoire, du Tourisme et de la
Mer http://www.cetmef.equipement.gouv.fr/projets/transversaux/cluster/calculs.php
ORganisation Associative du Parallélisme (ORAP) : http://www.irisa.fr/orap
Présentation des ressources en calculs parallèles de l’INRIA à Sophia Antipolis
http://www-sop.inria.fr/parallel/
20
ANNEXE 1 Détail des deux configurations matérielles fondées sur des nœuds
bi-processeurs (objet des demandes de proforma)
CONFIG. A: 1 Serveur et 4 Nœuds -- Processeurs
Xeon 3.0 Ghz
Serveur bi-pro
Processeurs: 2 Xeon 3.0Ghz cache 512k FSB 533Mhz
Carte mère: MB ASUS PC-DL Deluxe i875P
Mémoire: 4 PC3200 512 Mo (4 X 512 MO (ECC), DDR
400)
Disques durs: 2 x DD Serial ATA (200 Go minimum)
Grande tour (emplacement et alimentation suffisante
pour quatre disques)
Lecteur CD/DVD
Carte vidéo: ATI 9600 256 Mo ou équivalente
Ecran CRT 17"
Lecteur disquette
Carte réseau 10/100/1000 supplémentaire Intel
(PWLA8391MT GIGABIT RJ45)
Carte Adaptec Serial ATA RAID 2410SA
Clavier, souris
4 nœuds bi-pro
Processeurs: 2 Xeon 3.0Ghz cache 512k FSB 533Mhz
Carte mère: MB ASUS PC-DL Deluxe i875P
Mémoire: 4 PC3200 512 Mo (4 X 512 Mo (ECC), DDR
400)
Disque dur: 1 IDE 60 Go minimum
Lecteur CD-ROM
Carte graphique d'entrée de gamme (ATI 7000 32 Mo
ou équivalente)
CONFIG. B: 1 Serveur et 4 Nœuds -- Processeurs
Opteron 2.0 Ghz
Serveur bi-pro
Processeurs: 2 Opteron 2.0Ghz cache L1 128K, cache
L2 1024K (Model 246)
Carte mère: MB Tyan Thunder K8W (S2885)
Mémoire: 4 PC3200 512 Mo (4 X 512 Mo (ECC), DDR
400)
Disques durs: 2 DD Serial ATA (200 Go minimum)
Grande tour (emplacement et alimentation suffisante
pour quatre disques)
Lecteur CD/DVD
Ecran CRT 17 "
Lecteur disquette
Clavier, souris
4 nœuds bi-pro
Processeurs: 2 Opteron 2.0Ghz cache L1 128K, cache
L2 1024K (Model 246)
Carte mère: MB Tyan Thunder K8W (S2885)
Mémoire: 4 PC3200 512 Mo (4 X 512 Mo DDR 400 )
Disque dur: 1 IDE 60 Go minimum
Lecteur CD-ROM
Carte graphique d'entrée de gamme (ATI 7000 32 Mo
ou équivalente)
Frontale (sauvegarde) : 1 PC Pentium IV 3.0Ghz
Serveur
Processeurs: Pentium IV 3.0Ghz
Carte mère ASUS (avec port ethernet 10/100 intégré)
Mémoire: 2 PC3200 512 Mo (2 X 512 Mo (ECC)
Disques durs: 2 DD Serial ATA (400 Go minimum)
Grande tour (emplacement et alimentation suffisante pour quatre
disques)
Graveur DVD
Ecran CRT 19 "
Lecteur disquette
Carte réseau 10/100/1000 supplémentaire Intel (PWLA8391MT
GIGABIT RJ45)
Clavier, souris
ANNEXE 2 Dépouillement des offres commerciales
Nom du fournisseur
BBS - Configuration "haut de gamme"
Configuration A
1 serveur avec 2 Xeon
4 nœuds avec 2 Xeon chacun
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
1
1 276 200 XPF
10 694,56 €
4
3 528 800 XPF
29 571,35 €
4 805 000 XPF
40 265,91 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
Prix unitaire
Nombre
1 276 200 XPF
882 200 XPF
Réduction
éventuelle
Total Configuration A Hors TGI:
Configuration B
1 serveur avec 2 Opteron
4 nœuds avec 2 Opteron chacun
Réduction
éventuelle
Prix unitaire
Nombre
1 316 700 XPF
1
1 316 700 XPF
11 033,95 €
780 000 XPF
4
3 120 000 XPF
26 145,61 €
4 436 700 XPF
37 179,56 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
969 800 XPF
8 126,93 €
Total Configuration B Hors TGI:
Machine de stockage
PC Pentium IV 3.0 Ghz
Délais livraison
Durée de la garantie
Prix unitaire
Nombre
969 800 XPF
1
Réduction
éventuelle
3 à 4 semaines
3 ans
Total configuration A + machine stockage:
48 392,84 €
Total configuration B + machine stockage:
45 306,49 €
Commentaires :
Configuration IBM haut de gamme, établie sur la gamme IBM IntelliStation Z Pro 6223
(Xeon, config A) et IntelliStation A Pro 6224 (Opteron, config B), avec les spécificités
suivantes :
Config A :
Bi-Pro Xeon 3.6 Ghz/800 MHz 1Mo L2 cache (serveur)
2 Disques IBM 160 GB SATA 7200 RPM (serveur)
Bi-Pro Xeon 3.4 Ghz/800 MHz 1MB L2 cache (noeud)
Config B :
Bi-Pro Opteron 248 2.2 Ghz 1Mo L2 cache (serveur)
2 Disques IBM 160 GB SATA 7200 RPM (serveur)
Bi-Pro Opteron 246 2.0 Ghz 1Mo L2 cache (noeud)
Cette solution propose les dernières technologies en matière de processeurs, RAM et disque
de stockage, offrant des performances élevées (et similaires entre les 2 configurations).
Nom du fournisseur
BBS - Configuration "économique"
Configuration A
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
1
823 000 XPF
6 896,74 €
4
3 024 000 XPF
25 341,13 €
3 847 000 XPF
32 237,87 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
Prix unitaire
Nombre
823 000 XPF
756 000 XPF
Réduction
éventuelle
Configuration B
Réduction
éventuelle
Prix unitaire
Nombre
896 000 XPF
1
896 000 XPF
7 508,48 €
780 000 XPF
4
3 120 000 XPF
26 145,61 €
4 016 000 XPF
33 654,09 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
428 000 XPF
3 586,64 €
Machine de stockage
Prix unitaire
Nombre
428 000 XPF
1
Réduction
éventuelle
Délais livraison 3 à 4 semaines
3 ans
35 824,51 €
37 240,73 €
Commentaires :
Configuration IBM ‘’économique’’, établie sur la gamme IBM IntelliStation Z Pro 6223 (Xeon,
config A) et IntelliStation A Pro 6224 (Opteron, config B), avec les spécificités suivantes :
Config A :
Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 cache (serveur)
Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 cache (noeud)
Config B :
Cette solution propose des technologies récentes en matière de processeurs, offrant des
performances très honorables. La config B est susceptible d’offrir de meilleures
performances comparée à la A. Coût élevé en raison de la marque, sans gain notable par
rapport à une solution assembleur.
Nom du fournisseur
OFFICE PLUS configuration 1
Configuration A
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
1
485 000 XPF
4 064,30 €
4
1 380 000 XPF
11 564,40 €
1 865 000 XPF
15 628,71 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
Prix unitaire
Nombre
485 000 XPF
345 000 XPF
Réduction
éventuelle
Configuration B
Réduction
éventuelle
Prix unitaire
Nombre
575 000 XPF
1
575 000 XPF
4 818,50 €
430 000 XPF
4
1 720 000 XPF
14 413,61 €
2 295 000 XPF
19 232,11 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
405 000 XPF
3 393,90 €
Machine de stockage
Délais livraison
Prix unitaire
Nombre
405 000 XPF
1
Réduction
éventuelle
1 mois 1/2
1 an
19 022,61 €
22 626,01 €
Commentaires :
Solution assembleur économique constituée de carte mère Asus PC-DL deluxe (Xeon,
config A) et carte mère Tyan Thunder K8W (Opteron, config B), avec les spécificités
suivantes :
Config A :
Carte Adaptec SATA RAID 2410 SA Controller (serveur)
Config B :
Cette solution propose des technologies récentes en matière de processeurs, offrant des
performances très honorables. La config B est susceptible d’offrir de meilleures
performances comparée à la A.
Nom du fournisseur
OFFICE PLUS configuration 2
Configuration A
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
1
884 000 XPF
7 407,92 €
4
2 036 000 XPF
17 061,69 €
2 920 000 XPF
24 469,61 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
Prix unitaire
Nombre
884 000 XPF
509 000 XPF
Réduction
éventuelle
Configuration B
Prix unitaire
Nombre
Réduction
éventuelle
1
0 XPF
0,00 €
4
0 XPF
0,00 €
0 XPF
0,00 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
814 000 XPF
6 821,32 €
Machine de stockage
Délais livraison
Prix unitaire
Nombre
814 000 XPF
1
Réduction
éventuelle
1 mois 1/2
1 an
31 290,93 €
Commentaires :
Configuration DELL établie sur la gamme DELL Precision Workstation 670 (Xeon, config A),
avec les spécificités suivantes :
Config A :
Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2 cache (serveur)
Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2 cache (noeud)
Cette solution propose les dernières technologies en matière de processeur Xeon. Coût
élevé en raison de la marque, sans gain notable par rapport à une solution assembleur.
Nom du fournisseur
CYBERMEDIA - INFOCOM
Prix unitaire
Nombre
Réduction
éventuelle
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
429 780 XPF
1
408 360 XPF
408 360 XPF
3 422,06 €
349 090 XPF
4
331 706 XPF
1 326 824 XPF
11 118,79 €
1 735 184 XPF
14 540,85 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
Configuration A
Configuration B
Prix unitaire
Nombre
Réduction
éventuelle
1
0 XPF
0,00 €
4
0 XPF
0,00 €
0 XPF
0,00 €
Machine de stockage
Prix unitaire
Nombre
Réduction
éventuelle
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
314 250 XPF
1
298 608 XPF
298 608 XPF
2 502,34 €
Délais livraison 15j à 3 semaines
1 an
17 043,18 €
Solution assembleur économique constituée de carte mère Asus PC-DL deluxe (Xeon,
config A), avec les spécificités suivantes :
Config A :
Cette solution, la plus économique, propose des technologies récentes en matière de
processeurs, offrant des performances très honorables, mais inférieures à une solution à
base d’Opteron.
Nom du fournisseur
BULL configuration 1
Configuration A
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
1
721 376 XPF
6 045,13 €
4
1 870 284 XPF
15 672,99 €
2 591 660 XPF
21 718,12 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
Prix unitaire
Nombre
721 376 XPF
467 571 XPF
Réduction
éventuelle
Configuration B
Prix unitaire
Nombre
Réduction
éventuelle
1
0 XPF
0,00 €
4
0 XPF
0,00 €
0 XPF
0,00 €
Prix Hors TGI
en CFP
Prix Hors TGI
en Euro
408 340 XPF
3 421,89 €
Machine de stockage
Délais livraison
Prix unitaire
Nombre
408 340 XPF
1
Réduction
éventuelle
1 mois 1/2
1 an
25 140,01 €
Commentaires :
Configuration BULL établie sur la gamme BULL Express5800/ 120Ef SATA (Xeon, config
A), avec les spécificités suivantes :
Config A :
Carte PCI SATA RAID FastTrack S150SX4 (serveur)
Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2 cache (noeud)
Cette solution propose les dernières technologies en matière de processeur Xeon pour les
nœuds de calcul. La RAM proposée pour les nœuds de calcul ne permet pas de couvrir les
performances du bus processeur. Coût modérément élevé en raison de la marque, sans gain
notable par rapport à une solution assembleur.
ANNEXE 3 Extrait des notes d’évaluation des performances de calcul des
machines disponibles localement en vue de l’implantation du code ROMS au
Centre de Nouméa
1. Objet
L’objet de cette note est de passer en revue les performances de calculs des moyens
informatiques accessibles au département océanographie physique du centre et de
proposer, si besoin est, d’autres alternatives de calcul.
La note se présente de la manière suivante :
Présentation du modèle ROMS et des logiciels dédiés
Méthodologie et caractéristiques du domaine étudié
Performances obtenues
Perspectives
2. Présentation du modèle de circulation ROMs
2.1. Présentation générale
ROMs (= Regional Ocean Modeling System) est développé sous la supervision
d’Herman Arango et Dale Haidvogel, de l’université Rutgers (New-Jersey). Au sein
de l’IRD, Patrick Marchesiello et Pierrick Penven (UR097, IRD Brest) contribuent
également au développement du code.
Deux versions de ROMS sont accessibles :
La version officielle de ROMS (ROMS V 2.0), distribuée par l’Université de Rutgers.
Elle comprend les dernières techniques numériques validées par le groupe de
collaborateurs d’Herman Arango. Le code est parallélisé et comprend également un
module biologique. Par contre, le code n’offre pas d’option permettant de travailler
sur des maillages emboîtés.
La version obtenue auprès de l’IRD Brest, ROMS/AGRIF, est le fruit d’une
collaboration entre l’IRD, l’INRIA et l’UCLA (University of California at Los Angeles).
Cette version est expérimentale, mais reprend les fonctions de ROMS 2.0 en y
ajoutant des fonctions nouvelles, notamment pour le traitement des problèmes de
circulation en zone côtière ou les conditions aux limites. Ainsi, le code diffère de la
version officielle en offrant au moyen de la bibliothèque de fonctions AGRIF des
fonctionnalités d’adaptation de la résolution. AGRIF permet de travailler de manière
dynamique avec une grille emboîtée dans le modèle parent. Un nouveau schéma de
traitement des conditions aux limites y est également incorporé. Ce code est utilisé
avec succès dans de nombreux laboratoires.
La version ROMS/AGRIF est utilisée au centre de Nouméa pour les raisons
suivantes :
Support technique apporté directement par Patrick Marchesiello et Pierrick Penven
Fonctions d’adaptation de grille et nouvelle condition aux limites particulièrement
appropriées et pertinentes eu égard le type d’utilisation du modèle localement
ROMS/AGRIF vient avec une suite d’outils écrits en langage Matlab facilitant les
étapes de pré et post-traitement, adaptables si nécessaires
2.2. Le modèle
Le modèle ROMS est un modèle 3D qui utilise un schéma aux différences finies. Il
est fondé sur la résolution des équations primitives de Navier Stockes qui permettent
le calcul des courants, de la température, de la salinité et de l'élévation de la surface
libre en utilisant les approximations hydrostatiques, de Boussinesq et
d'incompressibilité. Les équations primitives sont appliquées sur un maillage
tridimentionnel orthogonal et curviligne sur la sphère. La discrétisation sur la verticale
utilise les coordonnées sigma, indépendantes de la profondeur (entre 0 et 1), qui
suivent la topographie du fond. L’épaisseur entre chaque niveau est donc variable.
La résolution se fait par séparation de mode. Un modèle 2D de surface est couplé au
modèle 3D selon un système prédiction-correction afin de considérer séparément les
ondes de gravité de surface et les ondes internes. Les ondes externes sont plus
rapides, la résolution des équations intégrées sur la verticale nécessite donc un plus
petit pas de temps pour respecter le critère de stabilité.
La température, la salinité et la concentration d’un traceur quelconque sont calculées
en résolvant l’équation de conservation de la masse, de la chaleur ou de la salinité.
Ces dernières années, les efforts de développement de ROMS ont porté sur
l’incorporation de méthodes numériques plus sophistiquées, permettant un gain de
résolution sans augmenter le coût de calcul. Cette recherche d’optimisation est
fondée sur l’évolution des architectures des ordinateurs, notamment sur le fait que
leur puissance de calculs augmente plus rapidement que la largeur de bande
mémoire.
Ainsi, l’apport des nouveaux schémas numériques pour l’advection, passant par la
résolution numérique d’équations de 3ème ou 4ème ordre, permet par exemple de
mieux rendre compte des structures turbulentes, et donc des mélanges des masses
d’eau, tout en étant moins sensibles aux effets de gradient. Ces schémas permettent
de profiter de la puissance de calcul tout en utilisant les ressources
(processeur/mémoire) d’une manière optimale.
Conditions aux limites
Le type de schéma employé pour tenir compte du traitement de l’information aux
limites ouvertes est déterminant sur la convergence de la solution et la qualité des
résultats retournés. ROMS (V 2.0) comporte différents schémas permettant de
spécifier le type de conditions aux limites. La condition radiative est la plus employée.
Au cours de son séjour à l’Université de Los Angeles (UCLA), Patrick Marchessiello
(IRD, UR097) a développé puis incorporé dans le code ROMS/AGRIF une condition
radiative dite oblique. La condition radiative oblique permet d’estimer la direction du
flux d’information entrant ou sortant aux limites ouvertes, ceci à chaque itération. En
configuration de flux entrant, l’information provenant des données hydrologiques est
restaurée aux limites, moyennant une procédure de relaxation newtonienne avec un
rappel relativement fort (temps de rappel court de l'ordre de quelques jours). En
configuration de flux sortant, les données intérieures sont extrapolées aux limites et
une relaxation avec un temps de rappel faible (de l’ordre de 1 an) est appliquée. Ces
procédures de relaxation permettent l’atténuation des écarts entre les valeurs
intérieures et extérieures qui peuvent se manifester au moment de l’inversion du flux,
propice au développement d’instabilités numériques.
2.3. Aspects informatiques du code
Parallélisation
Déjà parallélisé dès les premières versions pour l’utilisation des plateformes à
mémoire partagée (Sun, SGI, etc), l’algorithme de calcul fait appel à la bibliothèque
d'échanges de messages MPI (Message Passing Interface) pour les architectures à
mémoire distribuée (grappe de PC). Les directives OpenMP peuvent également être
employées sur les plateformes à mémoire partagée.
La technique de parallélisation consiste à partager le domaine de calcul en sous
domaines, de manière explicite. Avant compilation du programme, l’utilisateur
déclare un nombre de sous domaine égal au nombre de processeurs (ou multiple,
pour les plateformes à mémoire partagée). Chaque thread parallèle gère alors de
manière autonome son propre sous domaine et est défini une seule fois pour tout le
reste de l’exécution du programme. Seules les échanges d’information aux nœuds
frontières subsistent.
Sur la plateforme biprocesseur testée, la parallélisation est effectuée au moyen des
directives OpenMP. Le compilateur fortran Intel version 8 utilisé sous Linux pour les
tests supporte l’interprétation des directives OpenMP.
Optimisation d’utilisation de la mémoire cache
De manière avantageuse, le partitionnement du domaine permet également d’obtenir
un gain de temps de calcul en procédant à l’optimisation de l’utilisation du cache du
processeur. Le partitionnement permet en effet d’obtenir un jeu de blocs de données
associés à chaque sous domaine dont la taille correspond à celle de la mémoire
cache. Les performances s’en trouvent améliorées, y compris sur les plateformes
monoprocesseurs.
Stratégie de raffinement et méthodes de zoom
Le logiciel AGRIF (Adaptive Grid Refinement in Fortran) est associé au modèle
ROMS. Moyennant l’utilisation de pointeurs et le renseignement d’un fichier pré-defini
de description du modèle, le logiciel AGRIF permet d’ajouter des fonctionnalités
d’adaptation de la résolution dans le modèle, sous la forme d’une grille emboîtée
dans le domaine parent.
Cette fonctionnalité a été ajoutée sur la base de travaux de Laurent Debreu (INRIA)
et Eric Blayo (Université de Grenoble). Les efforts portent actuellement sur l’ajout de
fonctions de couplage et d’emboîtement de modèles océaniques distincts.
Les fonctions du logiciel AGRIF seront testées ultérieurement.
2.4. Outils pré et post-traitement
Les outils employés pour la préparation du maillage, la construction des séries
temporelles de forçage et d’initialisation du modèle proviennent de la boite d’outils
ROMS_TOOLS, développée par l’IRD (Pierrick Penven et Patrick Marchesiello).
Les outils développés sous Matlab permettent également la visualisation et l’analyse
des sorties du modèle, moyennent l’interface graphique de Matlab et des routines
dédiées. Le format des données (entrée et sortie) répond au format netCDF.
3. Méthodologie et caractéristiques du domaine étudié
3.1. Méthode
Après une étape de familiarisation avec le code (compilation, préparation, test de
convergence, etc.), des tests portant sur la vitesse de calcul ont été exécutés de
manière à vérifier dans quelles mesures le parc informatique du centre peut répondre
à l’exploitation du code.
Pour effectuer les comparaisons entre les différents PC, une grille comprenant
543 780 points portant sur un domaine centré sur la Nouvelle-Calédonie a été
soumise aux machines. La résolution du domaine atteint 1/10 °, soit une échelle
horizontale d’environ 10 km.
Bathymétrie du domaine régional centrée sur la Nouvelle-Calédonie (Bathymétrie = Etopo2)
Grille horizontale : 159 X 171
Profondeur maximale : 7500 m
Niveaux sigma : 20
Profondeur minimale : 10 m
Pas de temps - Mode barocline : 520 s (8.6 minutes)
Pas de temps - Mode barotrope : 13 s
Le code est compilé avec le compilateur fortran 90 d’Intel pour Linux. Les mêmes
options de compilation ont été conservées sur les différentes machines.
Les caractéristiques des machines testées sont :
Tiki Pentium III Biprocesseur
PC biprocesseur, Intel Pentium 3, 1002 Mhz, cache 256 ko, SSE oui, SSE2 non, ht non
Mémoire : SDR 133 Mhz 1,5 GO
Boris Pentium IV Monoprocesseur
PC monoprocesseur, Intel Pentium 4, 1615 Mhz, cache 512 ko, SSE oui, SSE2 oui, ht non
AMD XP Monoprocesseur
PC monoprocesseur, AMD Athlon XP, 2029 Mhz, cache 256 ko, SSE oui, SSE2 non, ht non
Mémoire : Dual DDR 300 Mhz 1024 MO
Pentium IV P4P8X 2.9 ghz
PC monoprocesseur, Intel Pentium 4, 2940 Mhz, cache 512 ko, SSE oui, SSE2 oui, ht oui
3.2. Comparaison des performances
Pour apprécier les temps de calcul, les comparaisons de performances sont établies
sur la base de l’unité itération, du mois et de l’année.
Configuration
CPU
1 itération
1 mois
1 année
36,5 s
50,5 heures
606 heures
Tiki
Pentium
Monoprocesseur
III
1002 Mhz
Tiki
Pentium
Biprocesseur
III
2 x 1002 MHZ
13 s
18,0 heures
216 heures
Boris
Pentium
Monoprocesseur
IV
1615 Mhz
7s
9,7 heures
116.4 heures
AMD XP 2400 +
2029 Mhz
7,6 s
10,5 heures
126 heures
Pentium IV P4P8X
2940 Mhz
4,7 s
6,5 heures
78 heures
Le code tire le meilleur partie de la technologie pentium IV avec un cache à 512 ko.
On notera que le processeur AMD XP Athlon cadencé 2.0 Ghz n’apporte pas d’aussi
bonnes performances qu’un Pentium 4 cadencé à 1,6 Ghz, ce dernier bénéficiant
d’un cache supérieur.
Il apparaît également que la fonction de partitionnement du domaine apporte un gain
de performance appréciable, que ce soit pour une machine biprocesseur ou
monoprocesseur. Ces gains sont illustrés ci-après, en jouant sur différentes
combinaisons de partition du domaine :
Machine monoprocessseur
Dépassement
de pile
10
8
6
4
2
Partition du dom aine en Latitude et Longitude
24
1
X
22
X
1
1
X
20
18
1
X
14
X
1
1
X
10
1
X
2
X
12
0
1
seconde/itération
Effet du partitionnement
Boris, pentium IV (monoprocesseur)
Machine biprocesseur
X
20
20
X
20
30
20
10
X
10
10
X
X
8
X
6
X
2
8
6
30
25
20
15
10
5
0
2
seconde/itération
Effet du partitionnement
Tiki, pentium III (biprocesseur)
Partition du dom aine en Latitude et Longitude
Dans cet exemple, un gain de facteur 2 et 1.3 est obtenu respectivement sur les
machines pentium biprocesseur et monoprocesseur testées.
4. Perspectives
Malgré le manque de recul sur les aspects informatiques du code, il apparaît que les
dernières machines du Centre équipées de processeur pentium IV sont suffisantes
pour son exécution sur des domaines à moyenne échelle, dans le cas d’une
résolution inférieure à 1/10 ° et des périodes de 1 à quelques mois. Par exemple, 6
mois de simulation sur une machine cadencée 1.6 Ghz nécessiterait 2,5 jours. Sur
une plateforme cadencée à 3 ghz (testée les jours à venir), il est probable que le
résultat soit obtenu en moins de 36 heures.
Au-delà, dans le cadre de l’étude affinée de processus côtiers nécessitant l’emploi de
maillage imbriqué avec une résolution plus fine (2 à 3 km) et pour des périodes
d’intégration plus longue (recherche d’un état d’équilibre, nécessitant plusieurs
années d’intégration, par exemple), les temps de calculs deviennent difficilement
gérables.
Les solutions envisageables sont alors celles pour lesquelles le code est prévu,
multiprocesseur ou grappe de PC (cluster), cette dernière solution permettant de
bénéficier de processeurs plus rapides que ceux disponibles sur les plateformes
multiprocesseurs.
ANNEXE 4 Le modèle hydrodynamique Mars 3D
Il s'agit d'un algorithme de calcul des courants marins, des hauteurs d'eau, et des
concentrations en éléments solubles (ou en suspension temporaire) transportés par les
courants. Mars est composé de :
-
un noyau de calcul opérationnel en version 2D et 3D qui, dans un souci de meilleure
précision, de minimisation des temps de calcul et de facilité d'emploi, adopte une
méthode en différences finies sur un maillage régulier.
-
un pré-processeur nommé IMars dont les fonctions essentielles sont la gestion et
l'intégration aisées des paramètres et données d’entrée qui servent à l'activation du code
de calcul. IMars permet également un contrôle en temps réel de l’évolution de variables
hydrodynamiques modélisées.
-
un post-processeur, ou programme d'exploitation graphique des résultats de Mars
nommé VisuMars mis à la disposition des utilisateurs du logiciel de modélisation
hydrodynamique côtière qui ne possèdent pas d'interface avec le SIG Arc View. Il
permet de présenter les résultats de calculs déjà réalisés (ou en cours de calcul) sous
forme de courbes et de cartes. Il permet aussi des calculs spécifiques d'interprétation
(trajectoires, etc…)
Mars effectue le calcul des courants, des hauteurs d'eau et des concentrations en substances
dissoutes, dans un écoulement liquide plan, quasi-horizontal. La forme des fonds peut être
absolument quelconque et comporter un nombre quelconque de chenaux, îles, hauts fonds,
bancs découvrants et estrans.
MARS permet de modéliser sous forme de calculs instantanés ou de synthèses (valeurs
moyennes, maxi, mini…) les grandeurs suivantes :
- le courant (composantes U et V) et les résiduelles eulériennes,
- la hauteur du plan d'eau, les niveaux moyens et les composantes harmoniques de
marée,
- la salinité,
- des constituants provenant de rejets (par exemple les coliformes fécaux),
- le transport sédimentaire et les dépôts.
Il produit pour chaque zone étudiée une base de données dont les résultats sont stockés
sous la forme d'une série temporelle de vecteurs et de scalaires en coordonnées
géographiques. On se limitera dans ce qui suit à la description puis aux applications de la
version 2D du modèle.
On démontre que les calculs réalisés par le modèle nécessitent l’utilisation de trois types
d'information :
- La topographie du domaine (fournie ici par une matrice des profondeurs).
- Les conditions aux limites sur les frontières ouvertes du domaine. Pour la partie
hydraulique, on utilisera des conditions aux limites fortes de dénivellation et des
conditions faibles de vitesse des courants.
- Les flux d'eau et de matière dissoute (ou en suspension) à l'intérieur du domaine
(rivières, émissaires ...)
Les hypothèses du calcul valables en 2D sont les suivantes :
-
-
La composante horizontale du courant ne varie pas beaucoup depuis la surface jusqu'à
proximité du fond (courant de masse). Le modèle dans sa version 2D calcule la moyenne
des courants sur la verticale et cette valeur moyenne a une forte signification physique.
Les vitesses verticales sont faibles.
Sous ces hypothèses, les lois qui décrivent le comportement physique du système, à savoir le
second principe de Newton et la loi de conservation de la masse se traduisent par le système
d'équations dit de Saint-Venant :
 ∂ 2u ∂ 2u 
∂u
∂u
∂u
u u 2 + v 2 ∂Pa τ x
∂ζ
+u
+v
+g
− fv − ε  2 + 2  + g
+
+
=0
∂t
∂x
∂y
∂x
∂y 
k 2H 4/3
∂x
ρH
 ∂x
 ∂ 2v ∂ 2v 
∂v
∂v
∂v
∂ζ
v u 2 + v 2 ∂Pa τ y
+u +v +g
− fu − ε  2 + 2  + g 2 4 / 3 +
+
=0
∂t
∂x
∂y
∂y
∂y 
k H
∂y
ρH
 ∂x
∂ζ ∂ ( Hu ) ∂ ( Hv )
+
+
=0
∂t
∂x
∂y
U
V
ζ
f
kr
H
composante de la vitesse selon Ox
composante de la vitesse selon Oy
cote de la surface libre
facteur de Coriolis
coefficient de frottement de fond, de Strikler
hauteur de la colonne d'eau
Ce système est complété par l'équation de transport-diffusion-décroissance d'un élément
chimique (ou assimilé) transporté en suspension :

∂C 
∂C 


∂  HKx
 ∂  HKy
∂y 
∂ ( HC ) ∂ ( HUC ) ∂ ( HVC )
∂x 


+
−
−
+ lHC + S = 0
∂t
∂x
∂y
∂x
∂y
C
K
L
S
Concentration en une substance dissoute
Coefficient de diffusion horizontale
Coefficient de décroissance propre
Source
Mars intègre ces équations différentielles de manière totalement automatique, quelle que soit
la forme du domaine, qui peut d'ailleurs évoluer dans le temps (zones découvrantes, murs
immergés, etc…).
Un modèle mathématique doit offrir une représentation de la réalité d'autant plus fine et précise
que l'on se situe sur la zone d'intérêt. A cette fin le modèle Mars utilise une technique
d'emboîtement de modèles sous forme gigogne. Par cette technique un modèle de grande
emprise et de grande maille contient lui même un ou plusieurs sous modèles (loupes). Ces
derniers reçoivent des modèles qui les précèdent, les conditions aux limites sur leur périmètre.
Au plan spatial les modèles intermédiaires possèdent une maille environ 4 fois plus petite que
celle du modèle précédent. Le modèle de grande emprise s'étend jusqu'au plateau continental
et trouve ses conditions aux limites dans la valeur des ondes générant la marée au large. Un
forcing météorologique peut être pris en compte sur toute la surface du modèle et ses
éventuelles loupes successives. La figure ci-après présente l'emboîtement de quatre niveaux
de modèles construits dans le cas de l'étude de deux zones d'intérêt : régions du nord de La
Rochele et de La Tremblade - Marennes Oléron au sud.
Roch 2
Roch1
Roch 3
Roch
4
Roch
4
Principe de l'emboîtement de modèles : cas des zones La Rochelle (Roch 4 Nord) et La
Tremblade - Marennes Oléron (Roch 4 Sud).
ANNEXE 5 A propos du processeur AMD Opteron
Premier processeur 32 bits et 64 bits au monde à être compatible avec l'architecture
x86, le processeur AMD Opteron s'appuie sur la technologie AMD64 et Direct
Connect Architecture. L'architecture Direct Connect permet de supprimer les goulots
d'étranglement inhérents à l'existence d'un bus système en connectant directement
les processeurs, le contrôleur mémoire et les E/S au processeur central, afin
d’améliorer les performances et l'efficacité globale du système. AMD a également été
le premier constructeur à annoncer la réalisation d’une conception de processeur x86
double cœur destiné à l’informatique 64 bits.

Dossier de montage de l`architecture cluster de PC

Transcription

Documents pareils

References projets hoteliers

Liste des serveurs dédiés en promotion disponibles en IES

Vous souhaitez acquérir un bien immobilier, neuf ou ancien

Moniteur LCD de réception de données 2,4 GHz

285418-2303-LAN CHILE:Mise en page 1

Profil de poste Directeur (trice) des personnels adjoint(e)

L`art du bonsaï

upa upa restaurant

La problématique Antenne dans les objets connectés