Utilisation de l`IBM Blue Gene/P de l`IDRIS: Le projet DEUSS Dark

Utilisation de l'IBM Blue
Gene/P de l'IDRIS:
Le projet DEUSS
Dark Energy Universe Simulation Series (DEUSS)
Responsable et collaborateurs : Jean-Michel ALIMI1,
Yann RASERA1, Pier-Stefano CORASANITI1, Jérome
COURTIN1, Fabrice ROY1, André FUZFA1,2, Vincent
BOUCHE3,4, Romain TEYSSIER4
Affiliations:
Laboratoire Univers et Théories (LUTH), CNRSUMR8102, Observatoire de Paris, Université Paris
Diderot, Place Jules Janssen, Observatoire de Meudon,
92190 MEUDON, France
2
GAMASCO, Université de NAMUR, Belgique
3
CP3, Université catholique de LOUVAIN, Belgique
4
Service d’Astrophysique, CEA Saclay, Bat 709, L’Orme
des Merisiers, F-91191 Gif-sur-Yvette Cedex
Résumé du projet :
1
L'énergie noire constitue 75% du contenu énergétique
de l’Univers, elle est la source de l’accélération
cosmique récente. Sa nature est cependant encore
inconnue. Nous nous proposons en étudiant l'empreinte
fine de l'énergie noire sur la formation des grandes
structures de l'univers de contraindre les diverses
hypothèses envisagés sur la nature de cette énergie.
Nous avons réalisé une série de 9 simulations N-corps
qui calculent l'évolution de plus d'un milliard de
particules de matière noire depuis le début de l'Univers
jusqu'à l'instant présent. Ces simulations réalisées
durant le dernier trimestre 2008 sur le supercalculateur
Blue Gene de l'IDRIS dans le cadre d'un projet Grand
Challenge constituent la série de simulations la plus
performante au monde aujourd’hui en terme de
résolution spatiale dédiée à l'étude de l'énergie noire.
Ces simulations permettent d'étudier la structuration de
l'univers pour trois modèles d'énergie noire concurrents
sur une gamme d'échelles inédite allant de 6
gigaparsecs (la moitié du rayon de l'univers observable)
à 3 kiloparsecs (un dixième du diamètre de la voie
lactée)!
Objet de la recherche, problématique scientifique
D'après les dernières observations du fond diffus
cosmologique par le satellite WMAP, et des supernovae
par le catalogue SNLS, l'univers serait composé au
trois-quarts d'énergie noire dont l'origine est encore
inconnue. Cette énergie noire qui agit comme une
pression négative serait responsable de l'accélération
récente de l'expansion de l'univers. De nombreuses
théories s'affrontent pour expliquer la nature de cette
énergie comme la constante cosmologique (modèle
LCDM), les champs scalaires (modèle de quintessence
avec potentiel Ratra-Peebles dit RPCDM), les champs
scalaires avec correction de supergravité (modèle de
quintessence avec potentiel Sugra dit SUCDM), les
modifications de la gravité (modèle de pesanteur
anormale dit AWE), etc. Dans ce contexte, de
nombreux projets observationnels ont été proposés par
les grandes agences internationales pour discriminer
entre ces différents modèles comme par exemple
EUCLID (ESA), JDEM (NASA), SKA, Plank, etc... Ces
projets visent à mesurer avec une précision sans
précédent les propriétés de l'énergie noire par
l'observation respectivement des supernovae, du fond
diffus cosmologique, des oscillations baryoniques, des
lentilles gravitationnelles faibles, de l'effet SZ ou encore
de la distribution des galaxies et des amas.
Paradoxalement,
les
simulations
cosmologiques
actuelles qui explorent ces différents modèles d'énergie
noire ne sont pas du tout au niveau de précision des
observations pourtant elles seules permettent d’étudier
les effets de l’énergie noire sur la distribution de
matière sur une gamme d’échelle large. Dans ce
contexte, notre objectif est donc triple. Premièrement
un objectif théorique : mieux saisir l'empreinte de
l'énergie noire sur la formation des grandes structures.
Deuxièmement un objectif observationnel : trouver de
nouvelles observables pour discriminer entre les
modèles d'énergie noire. Et enfin troisièmement, un
objectif de défi numérique : améliorer la précision des
précédents travaux.
Caractéristiques du code et de l’implémentation
sur la Blue Gene/P
Le code utilisé est le code N-corps à raffinement de
maillage adaptatif (AMR) RAMSES (Teyssier, 2002) écrit
en Fortran 90. Ce code résout l'équation de Poisson
avec une méthode multigrille et évolue des particules
de matière noire avec une méthode de type particulemaille (PM). Grâce à sa stratégie de raffinement basée
sur un critère de densité, il présente une dynamique
spatiale importante ce qui est fondamental pour des
simulations cosmologiques. Ce code a été parallélisé
avec MPI. La décomposition de domaine est dynamique
et basée sur la courbe de Peano-Hilbert. Cela lui assure
une bonne scalabilité jusqu'à dix mille processus sur le
supercalculateur Blue Gene. Ce code a ensuite été
étendu à différents modèles d'énergie noire (Alimi et al,
2009).
Un effort tout particulier a été réalisé pour
l'implémentation sur Blue Gene concernant la gestion
des sorties (I/O) qui sont très importantes. En effet, le
code produit deux types de fichiers de sortie: des petits
fichiers très nombreux à chaque pas de temps
(plusieurs millions par simulation) et des gros fichiers
moins nombreux mais plus volumineux (plusieurs
téraoctets par simulation). Nous avons donc réduit le
nombre de petits fichiers produits, créé un système de
répertoires avec un nombre raisonnable de fichiers par
répertoire, « tarré » les répertoires et transféré les
archives sur le système de sauvegarde au cours de la
simulation. Concernant le gros volume de données,
Philippe Wautelet (IDRIS) a créé un système de
« ticket » avec MPI afin qu'un nombre limité de
processus écrivent sur le disque simultanément pour ne
pas saturer l'accès disque.
Un autre effort important a été réalisé pour le postprocessing avec le développement d'un nouveau code
de détection des halos de matière noire parallèle. Ce
code tourne directement sur la Blue Gene et permet de
détecter la position et la masse des halos et surtout de
trier les particules halo par halo dans les fichiers. Cela
permet ainsi de réaliser les analyses ultérieures de
manière séquentielle (halo par halo) sur nos machines
locales au laboratoire.
Au final la stratégie optimale retenue a été de lancer
simultanément 3 simulations sur 4096 coeurs chacune
durant le dernier trimestre 2008 ce qui a représenté de
l’ordre de 5 000 000 d’heures mono-cpu (soit
l’équivalent de 600 ans). Le post-processing a été
beaucoup plus rapide et a tourné sur 512 coeurs de
calcul.
Description des résultats obtenus
Nous avons tout d’abord calibré nos modèles d’énergie
noire sur les observations du CMB et des SNIa. Nous
avons ainsi défini des modèles dits réalistes
compatibles avec toutes les observations les plus
récentes. Nous avons ensuite réalisé une série de 9
simulations N-corps pour ces différents modèles (LCDM,
SUCDM et RPCDM) et calculé l'évolution d'un milliard de
particules de matière noire dans sept milliards de
cellules depuis l'émission du CMB jusqu'à l'univers
actuel (z=0). Les structures actuelles, appelées halos,
ont enregistré l'histoire de l'expansion de l'univers lors
de leur formation. Les caractéristiques fines de ces
halos permettent ainsi de remonter aux propriétés de
l'énergie noire.
L'empreinte de l'énergie noire étant présente à toutes
les échelles et pour toutes les masses de halos, nous
avons réalisé pour chaque modèle 3 simulations pour 3
« tranches » d’univers de différentes tailles. Les
simulations avec une grande « boite » d’univers (3.5
Gpc) permettent d'avoir une bonne statistique pour les
amas de galaxies à bas redshift (z=0). Les
simulationsavec une « boite » d’univers de taille
intermédiaire (900 Mpc) permettent d'étudier les
groupes de galaxies, la structure interne des amas et
les galaxies. Et, les simulations avec une « boite »
d’univers de petites taille (225 Mpc) permettent de
sonder la structure interne des galaxies de type voie
lactée et les petites galaxies jusqu'à haut redshift
(z=10).
Au total, nous avons produit près de 40 To de données
réparties entres 216 snapshots à différents instants de
l’histoire de l’univers, 6 lightcones pour la comparaison
aux observations, ainsi que 3 sous volumes sauvés à
tous les pas de temps. Nous avons ensuite détecté tous
les halos dans chaque snapshot qui peut contenir
jusqu’à 500 000 halos avec entre 100 et 3 000 000 de
particules par halo. La gamme de modèle d’énergie
noire (LCDM, RPCDM et SUCDM), de masses de halos
de matière noire (3.1010 à 8.1015 Msol) et d’échelles
(3 kpc à 6 Gpc) couvertes est unique au monde.
Afin de caractériser quantitativement la structuration
de la matière noire dans ces différents modèles univers
nous avons calculé le spectre de puissance de la
distribution de matière noire, la fonction de masse des
halos de matière noire, ainsi que leurs profils de densité
et vitesse. Ces prédictions pourront ainsi être comparé
aux futurs grands relevés observationnelles, aux
comptages d’amas de galaxies et aux courbes de
rotation des galaxies afin de briser les dégénérescences
et contraindre les différents modèles d’énergie noire.
Nous travaillons actuellement à l’élaboration d’ateliers
de présentation des résultats et à la création d’une
base de données de halos cosmologiques en connection
avec le projet international d’Observatoire Virtuel
Astronomique.
(Dark
Energy
Universe
Virtual
Observatory, DEUVO), afin de diffuser et de partager
ces résultats avec l’ensemble de la communauté
scientifique international.
Légende de l’image
Cette image présente des cartes de la densité projetée
de matière noire issues de la plus grande série de
simulations au monde dédiée à l'étude de l'énergie
noire. Deux aspects sont illustrés. Premièrement,
l'aspect dynamique spatiale d’une simulation, avec ce
zoom sur un halo parmi les centaines de milliers que
contient chaque simulation. Deuxièmement, l'influence
de l'énergie noire elle-même. En effet, chaque couleur
correspond à un modèle d'énergie noire différent. On
s'aperçoit ainsi que les différences entre les modèles
d'énergie noire sont particulièrement marquées aux
petites échelles (les 3 couleurs sont distinguables). Au
total, 9 simulations comme celles présentées ici ont été
réalisées. Elles ont nécessité 5 millions d'heures monocpu sur 4096 coeurs de calcul du supercalulateur Blue
Gene de l'IDRIS dans le cadre d'un projet Grand
Challenge obtenue par les membres du Projet Horizon
au LUTH.
Références et publications
associées
Articles Alimi, J-M., Füzfa, A., Boucher,
V., Rasera, Y., Courtin, J. & Corasaniti, P-S, Imprints
of Dark Energy on Cosmic Structure Formation I)
Realistic Quintessence Models, 2009,
arXiv:0903.5490 Cet article est le premier d'une série
qui présentera d'abord les aspects observationnels et
physiques puis finira par la présentation de cette série
de simulation “Grand Challenge”.
Site Web Site du
Projet Horizon : http://www.projethorizon.fr/www.projethorizon.fr/rubrique174.html Une base de données des
halos cosmologiques issus des simulations réalisés est
en construction dans le cadre du projet international
d’Observatoire Virtuel Astronomique
Publication à diffusion Grand public
Magasine de l'Observatoire de Paris :
http://grandpublic.obspm.fr/squelettes/pdf/magazine/
mag11/mag11.pdf
Conférences
Poster à “Understanding the Dark Sector: Dark Matter
and Dark Energy”, Aspen 2009 Winter Conference, 25
au 31 Janvier 2009
Contribution orale au LUTH, « Visite de l’AERES »,
Observatoire de Paris, 17 Mars 2009
Contributions orales à “Invisible Universe International
Conference”, Palais de l'UNESCO, Paris, June 29- July
3, 2009.
Film
Un film consacré aux simulations réalisées dans le
cadre de ce projet est en préparation. Il devrait être
présenté au Palais de l’UNESCO dans le cadre des
manifestations « Invisible Universe », June 29, July 10,
2009.