Etude et conception de mécanismes de contrôle pour la

Étude et conception de mécanismes de contrôle pour la
gestion de workflows autonomiques en environnement Cloud
Eddy Caron (ENS-Lyon. MCF HDR) et Eric Rutten (CR Inria)
Octobre 2016
1
Contexte
Il existe de nombreux moteurs de workflow, tel que pegasus[6], qui permettent une gestion
statique. Ces mécanismes ne permettent cependant pas d’atteindre le niveau de performance et
de flexibilité attendu, c’est pourquoi une approche dynamique [5] est nécessaire.
Le calcul autonomique [2] est une approche visant à automatiser l’administration de systèmes
au moyen de boucles de contrôle qui, sur la base de mesures et événements captés dans le système,
mettent à jour un modèle représentation la connaissance qu’on a du système, et disposent de
fonctions de décision qui déterminent des actions de reconfiguration ou adaptation à appliquer
sur le système via son API, de façon à appliquer une politique ou stratégie de gestion définie. Les
modèles et fonctions de décision peuvent être conçus selon les méthodes et outils de l’automatique
[4] pour avoir des assurances de bon comportement du systèmes contrôlé.
Le caractère dynamique doit être envisagé à différents niveaux, que ce soit dans la paramétrisation et le déploiement des tâches elles-mêmes que dans la gestion des ressources et des
communications. Selon Lee et al. [3], la gestion dynamique des workflows peut se décomposer en
deux mécanismes, le placement (mapping) et l’ordonnancement (scheduling).
Un des défis de stage de M2 sera de proposer, les fondations d’une approche à base de contrôle
afin de répondre aux problématiques de ce contexte et cela dans un environnement de type Cloud.
2
2.1
Objectif
Résultats attendus
Le travail du stagiaire sera la mise en œuvre d’un système de contrôle dédié aux workflows autonomiques. Nous avons distingué plusieurs facteurs à prendre en considération dans le processus
de contrôle :
Ordonnancement et gestion de données : l’ordonnancement est un sujet complexe dans
le cadre des workflows. Nous étudierons comment la boucle de contrôle peut aider aux
décisions d’ordonnancement. On pourra exprimer des contraintes liées au placement des
données transitant dans le workflow.
La moldabilité : Une des propriétés des workflows que nous étudions est la moldabilité
des tâches (leur capacité à modifier leur taille (le nombre de processeurs) avant le début
de l’exécution).
La malléabilité : Dans le cas de résultats probants avec les tâches moldables nous pourrons
pousser l’étude jusqu’à la prise en compte des tâches malléables (le nombre de processeur
peut varier pendant l’exécution).
1
La gestion du budget : Le placement (mapping) des différentes tâches dans un environnement Cloud s’accompagne du coût de la location des instances. Un budget pourra être
associé à un workflow ou à un ensemble de workflows et devra par conséquent être pris en
compte dans la boucle de contrôle.
La résilience : Le contrôle mis en œuvre devra être capable de gérer les pannes des nœuds.
Le terme panne s’entend au sens large, c’est-à-dire qu’il peut également s’agir de la perte
de réservation dans un environnement Cloud ou d’un budget arrivé à échéance.
Le travail consistera, graduellement selon cet ensemble de facteurs, à les analyser en termes
des observations et actions disponibles dans le système pour les gérer, avec formulation des
objectifs de contrôle dans ces métriques, puis à concevoir des contrôleurs à base de modèles qui
défininissent les fonctions de décision, et à les mettre en /oeuvre.
Notons que si nos avancées nous permettent d’aller jusqu’à une validation expérimentale nous
pourrons disposer du moteur de workflow disponible au sein de l’intergiciel Diet 1 [1] proposant
une solution efficace et fiable au déploiement d’applications HPC (High Performance Computing)
au travers d’environnement hétérogènes allant du simple PC aux infrastructures Cloud en passant
par les machines parallèles. La maı̂trise de ce logiciel par l’équipe accueillant le stagiaire en fait
un choix privilégié mais non exclusif.
Références
[1] Eddy Caron and Frédéric Desprez. DIET : A scalable toolbox to build network enabled servers on the grid. International Journal of High Performance Computing Applications, 20(3) :335–352, 2006.
[2] J. O. Kephart and D. M. Chess. The vision of autonomic computing. IEEE Computer, 36(1) :41–50, January 2003.
[3] Kevin Lee, Rizos Sakellariou, Norman W Paton, and Alvaro AA Fernandes. Workflow adaptation as an autonomic
computing problem. In Proceedings of the 2nd workshop on Workflows in support of large-scale science, pages
29–34. ACM, 2007.
[4] Marin Litoiu, Mary Shaw, Gabriel Tamura, Norha M. Villegas, Hausi A. Müller, Holger Giese, and Eric Rutten.
What can control theory teach us about assurances in self-adaptive software systems ? In Rogério de Lemos, David
Garlan, Carlo Ghezzi, and Holger Giese, editors, Software Engineering for Self-Adaptive Systems, Lecture Notes in
Computer Science. Springer Berlin Heidelberg, 2016.
[5] Mustafizur Rahman. Autonomic Workflow Management System for Grid Computing. PhD thesis, Department of
Computer Science and Software Engineering. The University of Melbourne., Australia, August 2010.
[6] Gurmeet Singh, Ewa Deelman, Gaurang Mehta, Karan Vahi, Mei-Hui Su, G. Bruce Berriman, John Good, Joseph C.
Jacob, Daniel S. Katz, Albert Lazzarini, Kent Blackburn, and Scott Koranda. The pegasus portal : web based grid
computing. In SAC ’05 : Proc. of the 2005 ACM symposium on Applied computing, pages 680–686, New York,
NY, USA, 2005. ACM Press.
1. http ://graal.ens-lyon.fr/DIET
2