Organisation de l`archive mission

Organisation de l’archive mission
CMC/CNES
fichiers
Stockage
N1 & N2
Gestion des
requêtes
ftp
Catalogue
Ingestion
metadata?
« Outreach »
Utilisateurs
Production N2
Interfaces
requêtes
Transfert
Outils de
« Help »
visualisation
CNES LESIA
LAEFF
« Long Term
Archive »
CDS IAS
Un logo pour l’archive?
• Systèmes « hardouaire »:
-stockage (propre a COROT ou moyen de
stockage massif du CD/IAS)
-2 machines pour l’interface utilisateurs et la
gestion des requêtes + catalogue et ingestion des
données
• Interfaces :
- avec le CMC/CNES (à optimiser)
- avec la machine de production des N2 (2 sens)
- avec les utilisateurs
- avec la LTA (à préparer dès maintenant)
1
• Interface utilisateur :
- interfaces graphiques N1/N2, sismo/exo,
rapide/approfondie…
- help : écriture d’un manuel d’utilisation
disponible en
ligne, vers où pointent des
liens à partir de l’interface
graphique
- outils de visualisation
- outreach
• Liens avec autres bases :
- GAUDI
- base étalonnage à Meudon
- SIMBAD (incluant une requête automatique)
- Exodat (idem)
- 2MASS
- autres?
Architecture informatique
Machines d’archivage
2
Phase d’exploitation
• 2 machines
– Base de données + ingestions N1/N2
(+
réplique interface utilisateur)
– Réplique de la base de données + interface
utilsateurs (requêtes comprises)
• Variante possible : intégration interface utilisateur
sur un site web plus général (centre de données).
• 1 système de stockage TBD
Intérêts majeurs
• Accès base de données catalogue quasi
continu
– Ingestion et validation sur une machine.
– Accès via interface sur le catalogue répliqué.
• Sauvegarde 1er niveau
– Répliques croisées des 2 machines.
3
Protection physique
• Protection electrique
– Double alimentation
– Branchement sur onduleur
• Protection des données
– Disques en raid 10
– Sauvegarde 1er niveau (répliques croisées)
– Sauvegarde distante
INGESTION DE DONNEES
4
Décomposition
• Extraction des données
– Création d’un fichier intermédiaire : metadata
• Contient les champs nécessaires à la mise à jour du
catalogue
• Syntaxe simple
– 1 ligne par fichier
– 1 séparateur (ex : « | ») entre chaque champs
• Ingestion réelle dans la base de données
catalogue à partir des « metadata »
Avantages
• Indépendance entre
extraction
des champs de données et mise à jour base
catalogue
– Gestion plus simple des problèmes éventuels
– Traitement asynchrone possible des 2 étapes
• Si le CMC propose avec les données N1, des
fichiers « metadata » associés…
– Gain de temps de développement et de traitement
5
Echanges de données CMC/CDC
CMC / IAS (N1)
LESIA / IAS (N2)
Procédure proposée
• Envoi d’un mail par l’entité disposant de données
prêtes.
– Envoi à une adresse spécifique qui pourrait être [email protected]
– Subject: Données corot N1
– Liste des fichiers à récupérer dans le corps du mail
• Déclenchement automatique (par l’arrivée du mail)
du rapatriement (ftp) des fichiers concernés.
• Envoi d’un mail d’acquittement de réception de
fichiers ?
6