Sujet détaillé - Maison de la Simulation

 Formulaire de proposition de sujet de thèse
Titre :
Méthodes parallèles et reparties intelligentes utilisant un paradigme de programmation multiniveaux pour le calcul exascale
Intelligent Distributed and Parallel Methods using a multilevel programming paradigm for
exascale computing
Mots clés :
Exascale, calcul parallèle et réparti, algèbre linéaire, YML, XMP, méthodes hybrides
Exascale, parallel and distributed computing, linear algebra, YML, XMP, hybrid methods
Description du sujet :
La barrière des 10 petaflops fut franchie en novembre 2011 et celle des 100 petaflops est en
vue. A la fin de cette thèse les premières machines exascale devraient être annoncées. Le prix
« Gordon Bell » de la dernière conférence « supercomputing » fut attribué à une équipe pour
une application ayant obtenu plusieurs petaflops soutenus. Nous sommes donc actuellement
déjà bien engagés dans l’ère du petaflop pour de réelles applications et nous menons des
recherches sur la programmation des machines exaflopiques à venir. Il est désormais admis
que la programmation de ces futures machines va devoir évoluer fortement. En particulier, nous
avons montré qu’une programmation à plusieurs niveaux est une voie efficace pour la
programmation de telles machines, mixant plusieurs langages de hauts niveaux. Une
programmation utilisant le langage YML, proposé dès 2000, pour décrire des graphes de
composants utilisant des langages PGAS chacun a montré son intérêts sur plusieurs machines,
comme GRID5000 en France, Hooper aux USA et « K » et T2K au Japon. Plusieurs
expérimentations de programmation YML-XMP furent menées (XMP est le langage choisi par le
Japon pour son projet Exascale) et on montré une accélération en utilisant YML-XMP comparé
à XMP seul ; en particulier en prenant des méthodes de Krylov hybrides comme exemple.
Le sujet de doctorat que nous proposons s’inscrit dans ce contexte et concerne donc les
méthodes de Krylov Hybrides intelligente pour le calcul exascale. L’objectif principal est de
mixer plusieurs auto-tunings et de proposer une stratégie intelligente pour que les paramètres
soient changés lors de l’exécution pour minimiser le nombre d’itération, le temps des itérations
et l’énergie consommée. Pour cela nous proposerons alors une méthode ERAM intelligente,
que nous généraliserons en proposant une méthode MERAM intelligente.
Nous proposons alors d’étudier d’autres méthodes de Krylov Hybrides Asynchrones autoparamétrées pour les machines post-petascales et les futures machines exascales ; Nous
étudierons ainsi la méthode hybride GMRES/MERAM/LS permettant de résoudre un système
linéaire de très grande taille en le préconditionnant en utilisant une approximation des valeurs
propres dominantes calculées en parallèle. Ces méthodes hybrides permettent de limiter la
taille des communications et possèdent des propriétés de tolérance aux pannes. Il sera possible
d’utiliser un réseau de superordinateurs qui se met en place à travers le monde dans le cadre
d’une collaboration qui devrait être finalisée d’ici peu avec le laboratoire A*star de Singapour.
En particulier, il devra être :



étudié les aspects mathématiques de ces méthodes pour essayer de proposer de
nouveaux paramètres à modifier lors de l’exécution, et surtout de nouvelles manières
d’évaluer l’évolution des paramètres à modifier dynamiquement. De nouvelles stratégies
d’auto-paramétrage pourront alors être proposées. Le mixage de l’auto-tunning de
plusieurs paramètres sera étudié expérimentalement et il sera proposé une heuristique.
Dans le cas des méthodes hybrides, l’heuristique proposée devra être adaptée et il sera
proposé une méthode ou les choix seront fait à l’aide de calculs asynchrones
supplémentaires permettant d’obtenir une méthode de Krylov « intelligente » pouvant
prendre des décisions lors des calculs ; et possédant un apprentissage selon les
exécutions et expérimentations précédentes.
Des expérimentations sur plusieurs machines seront réalisées ; dans le cadre de nos
collaborations et aussi en faisant, si nécessaire, une demande auprès de PRACE pour
avoir accès au plus puissantes machines du moment.
PhD subject description:
The 10 petaflops barrier was crossed on November 2011 and the 100 petaflops one is close
ahead. At the end of this PhD, the first exascale computers would be announced.
The “Gordon Bell” award of the last « supercomputing » conference was awarded to an
application performing several sustained petaflops. Indeed, we are now really on the petascale
area for end-user applications and our researches targeted future exascale programming and
computing. Nevertheless, it is now accepted that the programming of those future machines
would have to involve significantly in the next years. In particular, we have to develop a
multilevel programming paradigm, which would be an efficient programming model for such
machines, mixing several high level languages. A programming paradigm using YML,
introduced as soon as 2000, to describe graphs of components using PGAS languages, already
proves its efficiency on several machines worldwide (such as GRID5000 in France, Hopper in
USA, “K” and “T2K” in Japan). Several YML-XMP experiments were evaluated (XMP is the
PGAS languages selected by Japan for its exascale project) and demonstrated good speedups
using YML_XMP compared to XMP alone; especially with hybrid Krylov methods as example.
The PhD subject we proposed fits within this research context and it concerns smart hybrid
Krylov methods for exascale computing. The aim of this PhD is to mix several auto-tuning
strategies to optimize parameters at runtime. The goal is to minimize the number of iterations,
the duration of each iteration and the consumed energy. To reach this goal, we will propose an
intelligent ERAM method, and we will generalize with an intelligent MERAM method.
We will propose to study others auto-tuned asynchronous hybrid Krylov methods for postpetascale and future exascale computers. Then, we will study, as an example, the hybrid
GMRES/MERAM/LS method, allowing to solve a large non-Hermitian linear system,
preconditonned using approximated dominant eigenvalues computed in parallel. These hybrid
methods allow limiting the size of the communications and have fault tolerant properties. We
would target a worldwide network of supercomputers, which is developing between A*star
supercomputing in Singapore, the Tokyo Institute of Technologies in Japan and supercomputing
centres in USA and Europe.
The following researches would be developed:



Analysis of mathematical aspects of these Krylov methods, to propose new
parameters to modify at runtime, and new evaluations of evolution of the parameters
we want to dynamically modified. Several auto-tuning strategies would be
introduced. Mixing auto-tuning of several parameters will be experimentally studied
and heuristics would be proposed.
In the case of hybrid methods, the proposed heuristics would be adapted and it
would be introduced a method which may generate extra asynchronous computing
to build intelligent methods; and developing learning strategies with respect to the
runs and the former experiments.
Experiments on several computers will be developed, using accelerators such as
GPU and/or MIC; including probably a worldwide network of supercomputers.
Encadrant :
Nom, prénom : PETITON, Serge
Organisme : CNRS/ USR 3441-Maison de la simulation et Université de Lille 1
Adresse : Bâtiment DIGITEO/565, 91191 Gif-sur-Yvette cedex
Téléphone : +33 1 69 08 58 45
Mél : [email protected]
Etes-vous titulaire d’une HDR ou d’un doctorat d’Etat (oui, non, en cours) ? OUI
Nombre de doctorants qui seront encadrés au cours de la prochaine année ? 1,5 novembre
2015
Nombre de thèses déjà encadrées ? 20 à ce jour, 21 en novembre 2015 (et 3 HDR)
Etablissement d’inscription potentiel ? U. de Lille 1, Sciences et Technologies
Ecole doctorale potentielle ? Lille 1, Informatique
Ce sujet est-il susceptible de faire l’objet d’un co-financement entre la Maison de la
Simulation et un autre établissement : Oui - Non (à l’étude) Le cas échant, établissement partenaire : CNRS (à confirmer)