Documentation Arpège-climat + Environnement informatique

Documentation
Arpège-climat
+ Environnement
informatique
A.Braun
Cours Arpège-Climat 16-17 septembre 2008
Plan
 Site web
–
–
–
–
(1) Mode d’emploi Arpège-climat
(2) Documentation algorithmique
(3) Documentation informatique
(4) Validation climatique
 Environnement informatique Météo-France
– Pour nouvel arrivant => qq règles de bonne conduite
– Présentation de tori
• + Mtool
• + Relance automatique
– Présentation de cougar
– Présentation de sxclimat
Site Web : Page d’accueil
Site Web : Généralités
 Site web internet Arpège-climat créé sous la page GMGEC
– http://www.cnrm.meteo.fr/gmgec/
+ suivre Modéles Numériques + ARPEGE-Climat
Même division de la doc en 4 parties que les docs précédentes mais
sans support papier + des docs auxi
 Public concerné : en interne et usagers externes
 Site en anglais
 Site re-créé pour chaque nouvelle version du modèle (5.2, etc.)
(1) Mode d’emploi du modèle
 2 versions : html / pdf téléchargeable
(pdf : configurer son navigateur pour consultation directe)
 Version html du mode d’emploi
– Organisation par chapitres, avec tables des matières cliquables
– Liens entre chapitres et notes de bas de page conservés
 + quelques docs associées
–
–
–
–
–
–
Formulaires (pour extérieurs) (fr sauf 1 fr / en)
Outil d’interpolation
Mtool (fr)
Nec (fr + en mais old)
Full pos (25t1) (en)
Relance automatique (à ajouter)
(1) - Formulaires pour les extérieurs

Formulaires sur le site ftp anonyme de la DSI:
– ftp://thebe1/PUB/Securite/Formulaires

(1) Demande d’autorisation de connexion
–
–
–
–
–
–



Notion de correspondant informatique
Ident de la personne extérieure + 1 machine d’accès
Validité pour 1 an maxi (à renouveler spontanément)
Signature d’un chef de service + tampon
Envoi du document par fax et lettre au correspondant informatique
Attention au délai d’autorisation (2 semaines / 1 mois)
Rmq. (1x) Un formulaire auxi accompagne ce formulaire pour validation
(nature du travail, équipe de rattachement, etc.), signé scvh
(2) Engagement d’utilisation des ressources informatiques de MF
(3) + Un formulaire spécifique (CNRM) d’utilisation du code Arpègeclimat
(2) Documentation algorithmique
 Document disponible uniquement en pdf, pour le document entier
ou par chapitres
 Deux jeux de documentations annexes sont fournis :
– Physique pronostique (Pascal Marquet)
•
•
•
•
•
Shallow convection
Precipitation
Deep convection
Clouds and turbulence
Radiation
(2) Documentation algorithmique (suite 1)
– Documents additionnels (Karim Yessad)
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Basics about ARPEGE/IFS, ALADIN and AROME in the cycle 32 of ARPEGE/IFS
Integration of the model equations, and eulerian dynamics, in the cycle 32 of ARPEGE/IFS
Spectral transforms in the cycle 32 of ARPEGE/IFS
Semi-lagrangian computations in the cycle 32 of ARPEGE/IFS
Semi-implicit spectral computations and predictor-corrector schemes in the cycle 32 of ARPEGE/IFS
Horizontal diffusion computations in the cycle 32 of ARPEGE/IFS
Full-pos in the cycle 32 of ARPEGE/IFS
CFU (cumulated fluxes) and XFU (instantaneous fluxes) in the cycle 32 of ARPEGE/IFS
Distributed memory features in the cycle 32 of ARPEGE/IFS
IO in the cycle 32 of ARPEGE/IFS
User's guide to add new GFL variables or new GFL attributes in ARPEGE/IFS, ALADIN, AROME:
cycle 32
User's guide to add new surface variables or new surface attributes in ARPEGE/IFS, ALADIN,
AROME: cycle 32
Configuration 801 in the cycle 32 of ARPEGE/IFS
Organigramme of configuration 923 in the cycle 32 of ARPEGE/IFS
Sphere to sphere transforms in spectral space in the cycle 32 of ARPEGE/IFS: configurations 911
and 912, trageo
Trajectory management in the cycle 32 of ARPEGE/IFS
Minimizations in the cycle 32 of ARPEGE/IFS
Digital filtering initialisation in the cycle 32 of ARPEGE/IFS
(3) Documentation informatique
 La partie la plus nouvelle de la doc. Uniquement en html.
 Consultation du code source du modèle offerte, à partir de trois
entrées
– Un arbre dynamique des appels (noms cliquables)
– Un dictionnaire des noms de subroutines (et .h)
– Un moteur de recherches dans le code
 Les outils offerts ont de petites limitations mais sont faciles de mise
en œuvre
– L’ordre des appels de s/p dans l’arbre n’est pas garanti (usage de Dr
Hook). Voir le source en cas de doute.
– Le générateur de pages html (for2html modifié) est un petit outil qui ne
reconnaît pas la structure fortran en tant que telle. (Des liens parasites
ont été détectés.)
– Le moteur de recherches est un simple script perl. (Délai d’affichage du
résultat car 3900 fichiers consultés.)
(3) Documentation informatique (suite 1)
Conseils de navigation :
 Arbre
– recherche d’un s/p particulier, sous firefox, par CTRL-F nom, puis
CTRL-G pour aller au nom suivant. (/ peut remplacer CTRL-F)
– Clic sur un nom (nom non terminé par ‘-’) => accès au code dans une
fenêtre annexe. L’arbre reste affiché.
– Cliquer sur le – de MASTER pour réduire toute l’arborescence.
– Réafficher la page pour repartir d’un arbre complètement développé.
 Code source
– Distinguer les zones commentaires en couleur
– Des liens sont offerts vers les s/p présents seulement
– Voir la partie ‘Caller list of …’ en bas de page. Les renvois vont vers les
lignes citées.
– Les liens suivis s’affichent dans la page courante avec clic-G. Avec clicM, un nouvel onglet (ou fenêtre) est ouvert.
(4)Validation climatique
 Climatologie du modèle vs observations, sur une base saisonnière
DJF / MAM /JJA /SON + des moyennes globales, pour la période
1979-2001
 3 clims présentes en pdf (18 Mo chaque)
– Run standard
• aussi détaillé en html via une table des pages
– Run physique pronostique
– Run couplé
Documentation
 Petit parcours de la documentation en ligne !
Environnement informatique

Préambule
–
–
–
–
–
Pour accompagner le mode d’emploi d’Arpège-climat
Point de vue de l’utilisateur
Photographie
Connaissances unix supposées + fortran (f90)
Attention aux ressources utilisées (temps UC, espace de stockage, etc.) 
interférence avec l’opérationnel / les quotas du groupe
– Particularités pour les extérieurs

Interlocuteurs
–
–
–
–

CNRM/GMGEC/EAC (Eric Brun/Serge Planton/Michel Déqué)
CNRM/SC/CTI (/D Serge Legouis)
DT/DSI/CC (en particulier Marion Pithon/Serge Stamatiou/Hervé Le Bras)
[email protected]
Divers
– Assistance EAC ponctuelle. Pour des interventions importantes sur le code ou
les scripts, demander un avis.
Environnement informatique – Les machines
 CNRM
– sxclimat : serveur linux géré par EAC
• Voir docs + exemples de scripts, etc.
/eac9/deque/V5.1/
documentation/ + postprocessing/ +preprocessing/
• Machine de base pour les extérieurs
 DSI
– tori : supercalculateur vectoriel
• Voir exemples de scripts, bibliothèques, etc.
/cnrm/gc/mrga/mrga561/
namelist/ + V5.1/ + restart/ + bcond/ + compil/*/
– cougar : machine de stockage (accès ftp)
– parme : garde-barrière pour les extérieurs
Les machines : tori (1)

Supercalculateur tori
– 16 nœuds vectoriels SX-6R (1 nœud = 8 proc)
• Réservés au calcul (accès ftp interdits)
– Frontale scalaire TX7 (linux)
• Interactif (assez bonnes conditions)
• Soumission de travaux
• Transferts de fichiers avec cougar / autres machines
– File-systems
• HOMEDIR (perm, 6 To) + WORKDIR (s/perm, 4 To)
• TMPDIR (temp, 9 To), FTDIR (temp, 9,5 To), TMP_LOC (temp)
– NQSII
•
•
•
•
•
•
•
•
qsub [options] myjob …. Voir MTOOL
man qsub pour les options
Exemple :
qsub -q vector -b 2 –l cputim_job=1200,cpunum_job=4,
elapstim_req=600,memsz_job=12gb -j o ./myjob
Autres commandes :
qstat, qdel, qcat
ja, uacct (comptablité du job, de l’account ou du groupe)
Les machines : tori (2)

Classes
– Sur Tx : ft, compile, nocpu
– Sur SX: vector vers les autres queues selon les resources demandées
• 1proc, mono, express, multi, test

MTOOL (outil GMAP)
– Résout le problème du multistep dans un même job
•
•
•
•
1. ftget + qsub –q vector
2. Calculs + qsub –q ft
3. Ftput + Ajout d’un qsub –q ft
4. Réunion des 3 listings en 1.
– Préalables
• Créer $HOME/tmp
• Dans $HOME/.profile
–
–
–
–
export PWD=$(pwd)
export MTOOL_ROOT=~mrpm631/public/mtool
PATH=…:$MTOOL_ROOT:…
export PATH
– Script lancé
• Ajouter des directives #MTOOL … voir exemples + doc GMAP
• Lancement par mtool_filter.pl my_job
• Retour du listing dans répertoire courant
via /utmp/ftdir/mrga562/mtool/submit/mstep_000n/*
ce répertoire à consulter si abort sur erreur intermédiaire
Les machines : tori (3)

Accès à cougar (ftpserv)
– ftserv : ftmotpasse, ftget, ftput
• Mémorisation du pw dans ~/.ftuas :
ftmotpasse –u user-cougar –h cougar-tori
• ftget remote1 [local1] (piège du défaut)
ftput local1 [remote1]
• Ou
ftget <<EOF
remote1 [local1]
…
EOF
•
•
•
ftput <<EOF
local1 [remote1]
…
EOF
• Code retour existe => abort si fic inexistant
• Pour 1 ftput/ftget : appel de tous les fichiers en //
• Ne pas demander plus d’une quarantaine de fichiers (sur bandes) par job en principe
Pas de commande ftp cougar protégée pour accès ftp classique, depuis tori => créer des
répertoires par session ftp classique.
Attente infinie des ftget lorsque cougar n’est pas visible. TB
Régulation par la DSI des flux in/out par canaux dédiés (Priorité à l’opérationnel)
Les machines : tori (4)

Relance automatique
– Pour intégration longue nécessitant un découpage en runs élémentaires (notion
d’expérience)
– Préalables :
• PATH=…:~mrga562/relances/procs/procs.v2.2c dans ~/.profile
• Créer un fichier histoire (+répertoire) : ~/relances/expid/expid_his
– Contient des options d’exécution
– Et des lignes d’info sur les exécutions déjà réalisées
Lignes préfixées par un code en 4 caractères :
MSGE
EXPE commentaires
MNMO mnémonique
NBPA nb-de-passages
PACT numéro-du-passage-courant
PAFC numéro-du-passage-fini-courant
PROO script-a-executer
VARI ND_NPASS=2
INFA
INFD
• Attention à limiter l’édition du fichier histoire (ne pas interférer avec l’exécution)
Les machines : tori (5)

Relance automatique (suite)
– Script de lancement particularisé (_auto dans les exemples de Michel)
•
•
•
•
•
Pré-processing réalisé de [] et quelques variables $qqch disponibles
En principe crée un fichier $JOB et le soumet par mtool_filter.pl $JOB
Doit contenir set –e
Finir par lrelan [MNEMO] [NPASS]
Penser à nettoyer les listings intermédiaires
– Lancement par :
• relan expid
• Si question « JOB retour cray non recu (en cours de renvoi ?????) »
Répondre O/o => relance courante à refaire, autre : pas d’action.
– Exemple minimum de script, sans MTOOL
•
•
•
•
•
•
•
•
•
•
•
•
•
•
JOB=$WORK/[MNEMO]R[NPASS]
cat >> $JOB <<EOF
#PBS -N [MNEMO]R[NPASS] # Nom de la requête NQSII
#PBS -q ft
# classe NQS
#PBS -l cputim_job=00:16:00 # Temps cpu maximum
#PBS -l memsz_job=500mb
# Taille mémoire max par noeud
#PBS -l elapstim_req=00:10:00 # temps elapsed (= temps réel)
#PBS -j o
# stdout et stderr sur le même
# fichier de nom NOM_DU_JOB.nqsout
NPASS=[NPASS]
… travail en utilisant $NPASS -lrelan [MNEMO] [NPASS]'
EOF
qsub $JOB
Les machines : tori (6)
 Relance automatique : petits bonus (suite)
– Fonctions (pour ksh)
•
•
•
•
cdr $expid : cd vers un répertoire de relances
cdrl : cd vers le répertoire de relance le plus récent
cdml : cd vers le répertoire MTOOL le plus récent
Dans le .profile :
export FPATH=…:~mrga562/relances/procs/procs.v2.2c:…
– Commandes
• lrel : liste des relances triées par date
• cal_durmoy : calcul de la durée moyenne des passages d’une expé
• hisr $expid : nettoyage du fichier histoire des lignes INFA/INFD + RAZ de
PACT et PAFC
Les machines : tori (7)
 Divers
– Docs :
• Guide de l’utilisateur NEC de la DSI (téléchargeable sur notre site)
• guides en ligne de la société NEC (via /intradsi/ + SC/CC +docs)
–
–
–
–
Mot de passe : à changer toutes les 12 semaines
Maintenance tori en principe les mardis (annoncée)
Les HOMEDIR sont sauvegardés par tina chaque jour (voir restaur)
Interactif tori-tx :
• ksh par défaut en interactif
• Ajouter :set mouse=a dans ~/.vimrc, pour usage de la souris sous vim
• Ajouter [ $(tty) ] && eval resize dans ~/.profile si fenêtre retaillée (réexécuter le .profile si nécessaire : . ~/.profile)
Les machines : tori (8)
 Script de lancement du modèle, avec relance auto
– tori:/cnrm/gc/mrga/mrga561/V5.1/mccV5.1.tl63l31r_auto
Les machines : cougar (1)
 Machine de stockage
– Attention aux quotas des équipes / groupes
• Taille des fichiers : qq Mo à < 500 Mo
– Accès telnet par jeu_reduit :
•
•
•
•
•
Changement de mot de passe (pas de limite de durée de validité)
Localisation de fichiers / éléments de comptabilité /…
aide ou help => liste des commandes
Terminer par quit
Beaucoup de commandes sont sans arguments et demande d’options en
interactif
– Accès ftp (cas le plus général) :
•
•
•
•
Commandes ftp classiques
dir –ltr => liste triée par dates, les dernières à la fin
dir " " "| grep xx" <=> dir *xx* sur un très gros répertoire
Se rappeler des limitations du nombre de ftget simultanés (sur bande)
Les machines : cougar (2)
 Particularités :
– Notion de cache-disque :
• ftput : le fichier arrive dans un (énorme) cache-disque, avant d’être migré
sur bande
• ftget : si le fichier est en cache, le get est immédiat, sinon attente +- longue
à prévoir pour la migration bande=> disque
• La rétention des fichiers est assez longue pour les petits fichiers. Elle
dépend du renouvellement des fichiers.
• Le CNRM a des cache-disque dédiés : les ftput de gros fichiers pénalisent
les collègues directs.
• Possibilité de forcer la migration bande=>disque, en telnet (jeu_reduit)
d’un groupe de fichiers :
– cd repert
– dmget *xx*