Formation Utilisation du cluster

Transcription

Formation
Utilisation du cluster
centre de calcul mutualisé LEM3/LEMTA/LCFC/GIP-InSIC
www.lem3.fr/cluster
3) Le centre de calcul
1
S. Pagura, B. Piotrowski – Formation centre de calcul – LEM3/ENSAM
Sommaire
1) Présentation du cluster
2) Connexion au centre de calcul
3) Soumission d’un job
4) Gestion / suivi du calcul
2
Présentation du cluster
-
Localisation : salle C140 CIRAM - Technopôle
-
Gestion par le LEM3
-
-
-
Réseau informatique : Julien Oury
-
Responsabilité scientifique : Boris Piotrowski (50 %)
-
Gestion technique : Sylvain Pagura
Equipement
-
29 nœuds R410 : 8 cœurs par nœud (ppn=8) (2XQuad-core ; 2,93
GHz ; 24 Gb RAM)
-
9 nœuds R610 : 12 cœurs par nœud (ppn=12) (2XSix-core ; 3,33
GHz ; 32 à 48 Gb RAM)
-
Baies de stockage 25 To + Back Up / Réseau infiniband
Logiciels principalement utilisés
-
Abaqus 6.7-1, 6.11-2, 6.12-3
- Matlab R2012a
3
-
Vasp / Forge Cluster / Forge 2011
- Compilateurs Fortran/Intel
Performances : Benchmarks
-
-
-
Abaqus/Standard Benchmark Problems
-
S2: Volant avec charges centrifuges
-
S5: Ouverture de stent
-
S6: Empreinte de pneu
Abaqus/Explicit Benchmark Problems
-
E1: Car crash
-
E4: Pénétration d’un projectile
-
E5: Plaque soumise à une charge soufflée
Comparaisons avec autres clusters
4
Benchmarks - S2b : Volant avec charges centrifuges
- Analyse statique non-linéaire
- Éléments C3D8R
- Comportement élastoplastique
- Ecrouissage isotrope
- Pas de contact
2000
Durée (s)
1600
1200
800
400
0
0
4
8
Nombre de coeurs
12
16
5
Benchmarks - S2b : Volant avec charges centrifuges
durée (s)
CIRAM
Intel (1)
Intel (2)
Intel (3)
Bull
HP (1)
HP (2)
SIMULIA
fréquence mémoire/nœud standard memory
2,93 GHz 24 Gb DDR 1033 Hz
2048 MHz
3,0 GHz
16 Gb dimms
12800
3,2 GHz
16 Gb
15000
3,2 GHz
16 Gb
15000
3,0 GHz
16 Gb
16000
3,0 GHz
32 Gb
24576
2,3 GHz
16 Gb
12288
3,0 GHz
8 Gb
6500
ppn
8
8
4 (8)
8 (8)
Connexion
infiniband
SilverStorm 9080 DDR
infiniband
8
8
4
1
1760
2467
2
1427
1874
2544
2526
1493
infiniband
infiniband
4
995
1024
1339
1043
923
1272
8
455
1010
577
1032
724
1032
629
694
2500
CIRAM
Intel (1)
2000
Durée (s)
Intel (2)
1500
Intel (3)
Bull
1000
HP (1)
HP (2)
500
SIMULIA
0
0
4
8
12
16
Nombre de coeurs
6
16
330
323
572
366
385
Benchmarks – S5 : Ouverture de stent
- Analyse statique fortement non-linéaire
- Éléments C3D8
- Comportement élastique linéaire
- Conditions de contact
4000
CIRAM-16Gb
3500
CIRAM-2,4Gb
Durée (s)
3000
2500
2000
1500
1000
500
0
0
4
8
12
16
Nombre de coeurs
Influence de la mémoire RAM allouée par nœud
7
Benchmarks – S5 : Ouverture de stent
durée (s)
CIRAM
Intel (1)
Intel (2)
Intel (3)
Bull
HP (1)
HP (2)
SIMULIA
2,93 GHz 24 Gb DDR 1033 Hz
16000 MHz
3,0 GHz
16 Gb dimms
12800
3,2 GHz
16 Gb
15000
3,2 GHz
16 Gb
15000
3,0 GHz
16 Gb
16000
3,0 GHz
32 Gb
24576
2,3 GHz
16 Gb
12288
3,0 GHz
8 Gb
6500
ppn
8
8
4 (8)
8 (8)
Connexion
infiniband
1
2891
1432
infiniband
8
8
4
1602
1572
2
2125
841
4
1433
467
974
594
636
852
585
infiniband
infiniband
8
950
304
535
297
745
457
586
735
3000
Durée (s)
CIRAM
2500
Intel (1)
2000
Intel (2)
Intel (3)
1500
Bull
HP (1)
1000
HP (2)
SIMULIA
500
0
0
4
8
12
16
Nombre de coeurs
Facteur très influent : mémoire RAM allouée
Qualité de la mémoire, perturbation avec d’autres calculs sur 8
la même
lame
S. Pagura,
B. Piotrowski
– Formation centre de calcul – LEM3/ENSAM
16
487
322
593
799
488
Benchmarks – S6 : Empreinte de pneu
- Analyse statique fortement non-linéaire
- Éléments C3D8, C3D6H et C3D8H
- Comportements élastique linéaire et
hyperélastique
- Gonflement du pneu et conditions de
contact
8000
7000
Durée (s)
6000
5000
4000
3000
2000
1000
0
0
4
8
12
Nombre de coeurs
16
9
Benchmarks – S6 : Empreinte de pneu
durée (s)
CIRAM
Intel (1)
Intel (2)
Intel (3)
Bull
HP (1)
HP (2)
SIMULIA
2,93 GHz 24 Gb DDR 1033 Hz
16000 MHz
3,0 GHz
16 Gb dimms
12800
3,2 GHz
16 Gb
15000
3,2 GHz
16 Gb
15000
3,0 GHz
16 Gb
16000
3,0 GHz
32 Gb
24576
2,3 GHz
16 Gb
12288
3,0 GHz
8 Gb
6500
ppn
8
8
4 (8)
8 (8)
Connexion
infiniband
infiniband
8
8
4
1
6863
6396
6823
6677
2
5307
3843
4271
infiniband
infiniband
4
3640
2494
2814
2632
3222
2652
8
2598
1917
2300
1903
2681
2074
2190
2597
16
1768
1342
2349
2709
1850
8000
CIRAM
7000
Intel (1)
Durée (s)
6000
Intel (2)
5000
Intel (3)
4000
Bull
3000
HP (1)
2000
HP (2)
SIMULIA
1000
0
0
4
8
12
16
Nombre de coeurs
Calculs perturbés par les autres calculs sur la lame
10
Benchmarks – E1 : Car crash
25000
Durée (s)
20000
15000
10000
5000
0
0
4
8
Nombre de coeurs
12
16
- Éléments S3RS et S4RS
- Écrouissage isotrope
- Vitesse à l’impact : 40 km/h
11
Benchmarks – E1 : Car crash
durée (s)
CIRAM
Intel (4)
Bull (2)
HP (3)
SGI
SIMULIA
fréquence mémoire/nœud
2,93 GHz 24 Gb DDR 1033 Hz
3,0 GHz
16 Gb dimms
3,0 GHz
16 Gb
2,3 GHz
8 Gb
3,0 GHz
16 Gb
3,0 GHz
8 Gb
ppn
8
8
4
4
4
Connexion
infiniband
infiniband
infiniband
infiniband
infiniband
1
19493
24825
25132
23957
2
10661
14060
13859
13229
4
6773
8264
10067
9811
7906
9843
8
3330
6077
5366
5098
3975
5140
16
1597
2822
2233
2853
Durée (s)
30000
25000
CIRAM
20000
Intel (4)
Bull (2)
15000
HP (3)
SGI
10000
SIMULIA
5000
0
0
4
8
Nombre de coeurs
12
16
Benchmarks – E4 : Pénétration d’un projectile
5000
Durée (s)
4000
3000
2000
1000
0
0
- Éléments C3D8R
- Modèle avec endommagement
4
8
Nombre de coeurs
12
16
13
Benchmarks – E4 : Pénétration d’un projectile
durée (s)
CIRAM
Intel (4)
Bull (2)
HP (3)
SGI
SIMULIA
2,93 GHz 24 Gb DDR 1033 Hz
3,0 GHz
16 Gb dimms
3,0 GHz
16 Gb
2,3 GHz
8 Gb
3,0 GHz
16 Gb
3,0 GHz
8 Gb
ppn
8
8
4
4
4
Connexion
infiniband
1
4441
5273
5352
infiniband
infiniband
infiniband
infiniband
5157
2
2400
2900
2997
2838
4
1616
1616
1964
1866
1569
1856
8
748
1205
1127
1106
965
1074
16
171
643
453
618
6000
Durée (s)
5000
CIRAM
Intel (4)
4000
Bull (2)
3000
HP (3)
SGI
2000
SIMULIA
1000
0
0
4
8
12
16
Nombre de coeurs
14
Benchmarks – E5 : Plaque soumise à une charge soufflée
- Éléments S4R
- Sans contact
5000
Durée (s)
4000
3000
2000
1000
0
0
4
8
Nombre de coeurs
12
16
15
Benchmarks – E5 : Plaque soumise à une charge soufflée
durée (s)
CIRAM
Intel (4)
Bull (2)
HP (3)
SGI
SIMULIA
2,93 GHz 24 Gb DDR 1033 Hz
3,0 GHz
16 Gb dimms
3,0 GHz
16 Gb
2,3 GHz
8 Gb
3,0 GHz
16 Gb
3,0 GHz
8 Gb
ppn
8
8
4
4
4
Connexion
infiniband
infiniband
infiniband
infiniband
infiniband
1
4588
5299
5231
2
2763
2693
2756
5122
2657
4
1089
1440
1651
1605
1402
1619
8
924
910
1127
818
685
823
16
511
860
430
293
441
6000
Durée (s)
5000
CIRAM
Intel (4)
4000
Bull (2)
3000
HP (3)
SGI
2000
SIMULIA
1000
0
0
4
8
12
16
Nombre de coeurs
16
Sommaire
17
Connexion au centre de calcul
LEM3
internet
VPN
ssh
Nœud maitre : cluster.lem3.fr
pbs.sh
…
Nœuds de calcul
18
Connexion au centre de calcul
• Utilitaire pour se connecter au centre de calcul : putty.exe
• Lors de la connexion, entrer les identifiants et mots de
passe du LEM3
• Configuration
• host : 10.1.0.101
• port 22
19
Sommaire
3) Soumission d’un job (calcul)
20
Soumission d’un job (calcul)
• Le répertoire de travail doit contenir :
• Les fichiers relatifs au calcul (utilisés sans cluster)
• Un fichier pbs.sh (pbsmatlab.sh, pbsabaqus.sh, …)
• Le fichier pbs fait le lien entre le calcul et le cluster
• L’utilisateur n’a pas à se soucier de la distribution de son job
sur les nœuds de calcul
21
Contenu du fichier pbs :
• Informations de configuration
• Seules 2 lignes à modifier par l’utilisateur
• L34 : PBS –l nodes=1:ppn=1,walltime=02:00:00,
• L73 : execution de la commande liée au logiciel
/opt/Abaqus/Commands/abq6112 job=calcul cpus=$NCPU int
matlab -nojvm -display=null -r NOMDUFICHIER
./programme_fortran.exe (préalablement compilé)
22
Ligne 34 :
• nodes=X
• ppn=Y
Le nombre de nœuds demandés
Le nombre de processeurs par noeud
• walltime=02:00:00
durée maximale du calcul HH:MM:SS
Si le calcul excède la durée du walltime, il est automatiquement
arrêté
23
Une fois le fichier pbs.sh complété le calcul peut être lancé
1. Connexion au cluster avec putty
2. Accès au répertoire de travail (ex : "cd
Documents/formation/" )
3. Soumission du job à la queue : qsub pbs.sh
Lors de la soumission du job, un identifiant unique (jobID) est
attribué. Il permet de suivre l’évolution du calcul et de
l’arrêter si besoin
24
Sommaire
25
Gestion/suivi du calcul
Commande utiles :
- " qstat – a " : affiche l’état du calcul (R=Running ; Q=en queue ; E=erreur ;
C=completed (=terminé) ; H=suspendu)
- " qdel " + JobID : arrête instantanément et définitivement le calcul en cours
- " ls -l " : affiche la liste des fichiers du répertoire de travail – permet de
surveiller les créations de fichiers résultats
Lorsque le calcul se termine, création du fichier :
jobID.cluster.lem3.fr.log
Il contient les informations liées au calcul (erreur rencontrée, date de début et
fin de calcul, nœud(s) de calcul utilisé(s), répertoire de travail, …)
26

Formation Utilisation du cluster

Transcription

Documents pareils

Pc Ultra Rapide - L`Univers Informatique

Plateforme PC Windows XP SP2 32 Internet Explorer 6, 7, 8

HP EliteBook 8560p - Core i5 2540M / 2.6 GHz

Moniteur LCD de réception de données 2,4 GHz

Présentation PowerPoint

ASUSPRO ADVANCED B551LA-CR015G - Intel® Core™ i5

Evolution du système de calcul

SoundChaser 1.0 Expert

Les offres HP SEPTEMBREx

Acer TravelMate P258-M-532G - Intel® Core™ i5