ERAMAS - Instant-Grid

Instant Grid – Stand Februar 2006
Instant Grid – Stand Februar 2006
Projekttreffen 13.02.2006 Göttingen
Andreas Hoheisel
([email protected])
Matthias Hoche
([email protected])
Stefan Hinze
([email protected])
Seite 2
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Integration der Fraunhofer-Middleware (Arbeitspaket 2)
Grid Job Handler
Workflow-Management von Grid-Anwendungen,
Automatisierung der Prozessabläufe
Projektplan
Anpassung an die Anforderung von Instant-Grid:
Erfassung der Anforderungen, Adaption auf die zur
Verfügung stehende Java-Version, Überarbeitung der
Benutzeroberfläche, ggf. Installation des Grid Job
Handlers als Web Service
Aktuelle Arbeiten
Anpassung an GT4, insbesondere WS-GRAM
(bisher GT2.4)
Zusammenführung mit dem Grid Workflow Execution
Service (GWES) von K-Wf Grid
Überarbeitung der Workflow-Beschreibungssprache:
GWorkflowDL
siehe http://www.gridworkflow.org/kwfgrid/gwes/docs/
Seite 3
Instant-Grid
Ein Grid-Demonstrations-Toolkit
High-Level Petri Nets
Why Petri Nets?
DAG
A
B
C
D
Directed Acyclic Graph
State and loops not explicitly defined by graph
Limited expressiveness
BPEL
Complex semantics
Not formal enough for enhanced model checking and
optimization
Petri Nets
Directed graph
State and actions are modeled explicitly
A lot of theory available (model checking, optimization)
Seite 4
Instant-Grid
Ein Grid-Demonstrations-Toolkit
High-Level Petri Nets
or
Places
Represent buffers for data or tokens
Transitions
Represent operations (e.g. Web Service method calls)
Edges from places to transitions (Place is input place of transition)
Edges from transitions to places (Place is output place of transition)
n
x
x < y
Individual Tokens
Represent data (parameters) and state (done, failed)
Capacity
Maximum number of tokens on a place
Edge Expressions
Represent variable names (e.g. SOAP message parts)
Conditions
Enabled transitions only fire if all conditions are true
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Seite 5
High-Level Petri Nets
Terminology
Enabled
A transition is called “enabled” if:
• at least one token is present at each input place and
• the output places have not reached their capacity
Fire
Enabled transitions can “fire” by consuming one token
from each of the input places and putting a new token
on each of the output places.
Refinement
A single part of a Petri Net can be replaced by a sub
Petri Net
Seite 6
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Examples
Example
Input
begin
Output
outputData
Precondition
condition
Effect
hasBeenSorted
Seite 7
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Examples
Example: Barnes Hut Algorithm
Seite 8
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Examples
Example: Barnes Hut Algorithm
n-body simulation
Exact solution: O( n² )
Barnes Hut approximation: O( n log(n) )
1
3
3
2
1
2
8
9
8
4
6
5
9
4 5 6 7
7
Seite 9
Instant-Grid
Ein Grid-Demonstrations-Toolkit
GWorkflowDL
XML-based Grid Workflow Description Language
High-Level Petri Nets
Basic XML Schema is based on pure semantics of highlevel Petri Nets
Extensions
The language is extensible for various Grid platforms,
e.g.:
Globus Toolkit pre-WS (Fraunhofer Resource Grid):
Transitions are related to the invocation of executables
(legacy code) via GRAM
WSRF (K-Wf Grid):
Transitions are related to the invocation of Grid or Web
Services operations
Java Library (Open Source)
XML-Schema + Tools (beta version 0.9) available at
http://www.gridworkflow.org/kwfgrid/gworkflowdl/docs/
Seite 10
Instant-Grid
Ein Grid-Demonstrations-Toolkit
GWorkflowDL XML Schema Version 0.7
Seite 11
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Grid Workflow Description Language (GWorkflowDL)
<workflow xsi:noNamespaceSchemaLocation=
"http://www.gridworkflow.org/kwfgrid/src/xsd/gworkflowdl_0_9.xsd">
<place ID="begin">
<token><soap><data1 xsd:type="xsi:string">1 3 17 4 5</data1></soap></token>
<token><soap><data2 xsd:type="xsi:string">5 13 4 5 100</data2></soap></token>
</place>
<place ID="outputData"/>
<place ID="hasBeenSorted"/>
<transition ID="sort">
<description>sorts strings or numbers</description>
<inputPlace placeID="begin" edgeExpression="input"/>
<outputPlace placeID="outputData" edgeExpression="output"/>
<outputPlace placeID="hasBeenSorted"/>
<condition>string-length($input/token)>0</condition>
<operation>
<WSClassOperation>
<WSOperation owl="http://kwfgrid.net/services/Sort" selected="true"/>
</WSClassOperation>
</operation>
</transition>
</workflow>
Seite 12
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Integration der Fraunhofer-Middleware (Arbeitspaket 2)
FhRG Resource Broker
Die Beschreibung von Grid-Ressourcen erfolgt mit Hilfe
der GResourceDL (Grid Resource Definition Language).
Projektplan
Falls notwendig Entwicklung von zusätzlichen
Unterstützungswerkzeugen zur einfachen
(halbautomatischen) Erstellung von GResourceDLDokumenten durch den Nutzer. Die GResourceDLDokumente werden über einen Web-Server (z.B.
Apache) dem Grid Job Handler zur Verfügung gestellt.
Aktuelle Arbeiten
Analyse von Globus Toolkit 4 Informationssystem (MDS2
bzw. MDS4)
Anpassung der GResourceDL an Grid Services
Integration in Grid Workflow Execution Service
Î In Zusammenhang mit D-Grid Integrationsprojekt (DGI – FG2)
Seite 13
Instant-Grid
Ein Grid-Demonstrations-Toolkit
GResourceDL example that depends on other resources
<?xml version="1.0" encoding="ISO-8859-1" ?>
<!DOCTYPE fhrgResources (View Source for full doctype...)>
<fhrgResources>
<resource id="sleep" type="software">
depends, conflicts,
...
provides, suggests
<dependencies type="depends">
<resourceRef id="linux" type="softwareClass" />
<resourceRef id="glibc-2-3" type="softwareClass" />
<resourceRef id="x86" type="hardwareClass" />
</dependencies>
...
</fhrgResources>
Seite 14
Instant-Grid
Ein Grid-Demonstrations-Toolkit
GResourceDL example that provides other resources
<?xml version="1.0" encoding="ISO-8859-1" ?>
<!DOCTYPE fhrgResources (View Source for full doctype...)>
<fhrgResources>
...
<resource id="harlekin.first.fraunhofer.de" type="hardware">
<dependencies type="provides">
<resourceRef id="x86" type="hardwareClass" />
<resourceRef id="network-ethernet-100" type="hardwareClass" />
<resourceRef id="linux-kernel-2-4-18" type="softwareClass" />
<resourceRef id="glibc-2-3" type="softwareClass" />
</dependencies>
<authorization>
<userGroup id="all" read="true" write="false" />
<userGroup id="first" read="true" write="true" execute="true" />
</authorization>
</resource>
</fhrgResources>
Seite 15
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Integration der Fraunhofer-Middleware (Arbeitspaket 2)
FhRG-Scheduler
Portierung eines einfachen FhRG-Schedulers für das
Instant-Grid. Dieser soll an ein in Instant-Grid
vorhandenes Grid-Infrastruktur-Monitoringsystem
angeschlossen werden (z.B. ganglia). Der Scheduler
dient zum Lastausgleich der Grid-Knoten und optimiert
die Auswahl von Hardware-Ressourcen für konkrete
Anwendungen.
Beispiel-Workflows
Beschreibung der Grid-Anwendungen mittels der Grid
Job Definition Language (GWorkflowDL). Beispiele:
concatenateIt, Stille Post, Parameterstudie
Dokumentation
Erstellung ausführlicher Dokumentation der
bereitgestellten Grid-Middleware-Komponenten für
eine breite Zielgruppe (Neulinge und Experten).
Seite 16
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Arbeitspaket 3: Monitoring
Petrinet Monitor Panel
Für die Überwachung von Grid-Workflows wurde für
das Fraunhofer Resource Grid (FhRG) ein Petrinet
Monitor Panel entwickelt, welches den aktuellen
Zustand von laufenden Grid-Anwendungen mit einigen
Zusatzinformationen als Petrinetz darstellt. Das Petrinet
Monitor Panel wird für Instant-Grid in die angestrebte
GridSphere-Portallösung eingebunden. Voraussetzung
hierfür ist der Grid Job Handler aus Arbeitspaket 2.
Î Grid Workflow User Interface (GWUI): Derzeit Diplomarbeit bei Fraunhofer FIRST
(Tilman Linden – TU-Berlin)
Seite 17
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Seite 18
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Seite 19
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Seite 20
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Arbeitspaket 4: ERAMAS
ERAMAS
Environmental Risk Analysis and Management System
Analyse- & Managementsystem
ERAMAS Projektpartner
FIRST
Fraunhofer Institut für Rechnerarchitektur und
Softwaretechnik
IBB
Ingenieurbüro Beger für Umweltanalyse und Forschung
DGC
Dresdner Grundwasser Consulting GmbH
Seite 21
Instant-Grid
Ein Grid-Demonstrations-Toolkit
ERAMAS
Nutzerfreundliche Bereitstellung von komplexen Anwendungen
Example
Environmental Risk Analysis and Management System
ERAMAS
Umweltsimulation auf dem Fraunhofer Resource Grid
Seite 22
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Arbeitspaket 4: ERAMAS
ERAMAS
Rechnergestütztes Analyse und –managementsystem
schadstoffbedingter Umweltrisiken
Möglichkeiten
Ausbreitung von Schadstoffen in
- Atmosphäre
- Boden
- Grundwasser
- sowie Exposition beim Menschen
prognostizieren und bewerten
Einsatzgebiete
- Störfälle
- Gefahrguttransporte
- terroristische Anschläge
Vorfeldanalyse
- Genehmigungsverfahren
- Maßnahmepläne erstellen
Seite 23
Instant-Grid
Ein Grid-Demonstrations-Toolkit
ERAMAS
Exposition assessment
Result output
Person at
a remote
site
Exposure
model
Atmosphere
Atmospheric
transport
model
Dangerous
goods
Model of the
aeration region
Exposure
model
Person at
the site
Exposure
model
Aeration region
Exposure
model
Groundwater
model
Groundwater region
Seite 24
Instant-Grid
Ein Grid-Demonstrations-Toolkit
ERAMAS
ERAMAS auf Instant-Grid
Nutzer
ERAMAS
GridSphere-Portal
Grid Workflow Execution Service
Repository
<models>
<data>
<users>
Instant-Grid-Ressourcen
Seite 25
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Arbeitspaket 4: ERAMAS
Benutzerschnittstelle
Entwicklung einer einfachen Benutzerschnittstelle zur
Auswahl und Konfiguration von Unfallszenarien. Die
nun vorhandene Benutzerschnittstelle wurde mittels
HTML realisiert und als Portlet in Gridsphere
implementiert.
Simulationsprogramm
Portierung und Bereitstellung des Moduls
Schadstoffausbreitung in der Luft (3D-LagrangeModell).
Visualisierung
Die Visualisierung der Outputdaten geschieht derzeit
mit dem OpenSource-Visualisierungswerkzeug Gnuplot.
Seite 26
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Arbeitspaket 4: ERAMAS (3PM)
Benutzerschnittstelle – ERAMAS & Auswertung
Videopräsentation
Seite 27
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Arbeitspaket 4: ERAMAS (3PM)
Benutzerschnittstelle – Dokumentation
Seite 28
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Arbeitspaket 4: ERAMAS (3PM)
Benutzerschnittstelle - Info
Seite 29
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Arbeitspaket 6: Test und Qualitätskontrolle
Testrechner „griddix“
Diskless Testrechner bei Fraunhofer FIRST mit InstantGrid
USB-Stick für veränderte Daten
Skript für veränderte Konfiguration
Instant-Grid-Testing (Weihnachtsversion) mit
funktionierendem GridSphere
Seite 30
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Ideen - Zusätzliche Anwendungen
Ein Werkzeug zur Modellierung
und Simulation komplexer
technischer Systeme
http://www.mosilab.de/
Sudoku
Constraint-basierter Sudoku-Löser als Web Service
GridSphere-Client
Workflow: Erzeugung eines animierten Films
mosilab Æ Blender Æ POV-Ray Æ CinePaint Æ Encoding
Seite 31
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Offene Punkte und Anregungen
Integration
9 Wie technische Integration der Komponenten (CVS?
FTP?)
Nightly Builds
9 Versionierung
(Versionsnummer innerhalb Instant-Grid sichtbar?)
DHCP
Zweiter DHCP Problem in vielen LANs
GridSphere
Aktuelle Instant-Grid-Version mit lauffähigem Tomcat +
GridSphere?
Monitoring
Zusätzliche Informationen können in Ganglia
eingepflegt werden (z.B. Anzahl Grid-Jobs)
Seite 32
Instant-Grid
Ein Grid-Demonstrations-Toolkit
Vielen Dank!
Kontakt:
[email protected]
http://www.andreas-hoheisel.de/
Seite 33
Instant-Grid
Ein Grid-Demonstrations-Toolkit