GAD - BMC.com

Überwachung WebShere
MQ bei GAD
Manfred Farwick
GAD eG
[email protected]
© GAD 2010
Agenda
„ Vorstellung GAD
„ WebSphere MQ in der GAD
„ Überwachung WebSphere MQ
„ Umsetzung
g Überwachung
g MsgAge
g g
© GAD 2010
Chart-Nr. 2
GAD –
IT für Banken
IT-Beratung, Softwarehaus und Rechenzentrum
Das Unternehmen im Überblick
© GAD 2010
Das Unternehmen
„ IT-Beratungs- und Kompetenzcenter,
Softwarehaus und Rechenzentrum für
„
„
© GAD 2010
rund 450 Volksbanken, Raiffeisenbanken sowie
Retailbanken im deutschsprachigen Raum
WGZ BANK, DZ BANK, genossenschaftliche
Verbundunternehmen
Chart-Nr. 4
Hauptgeschäftsfelder
Rechenzentrum
SoftwareE
Entwicklung
i kl
Beratung und
B
Betreuung
sieben Tage die Woche
24 St d B t i b
24-Stunden-Betrieb
Internet-Service-Provider
modernes multiprotokollfähi
fähiges
D
Datennetz
t
t
Mit li d und
Mitglieder
dK
Kunden
d
Banken
B
k und
d sonstige
i
Finanzunternehmen
© GAD 2010
Chart-Nr. 5
bank21 – das Banken-Anwendungssystem
Universelle Gesamtbanklösung
g
mit vollständig integrierten
Geschäftsprozessen für VertriebsSteuerungs und Produktionsbanken
Steuerungs-
© GAD 2010
Chart-Nr. 6
Weitere Produkte und Dienstleistungen
„ Software-Lösungen
„
„
„
„
„
für Zentralbanken (ZIS ZentralbankenInformationssystem
fü di
für
die WGZ BANK)
für Hypothekenbanken
für Verbundpartner
für Privat- und Firmenkunden von
Banken (z.B. Zahlungsverkehrsprogramme))
Internet- und eBusiness-Service
„ IT-Beratung und Schulung
© GAD 2010
Chart-Nr. 7
Weitere Produkte und Dienstleistungen
„ RZ-Dienstleistungen
RZ Dienstleistungen
„
Rechenzentrumsbetrieb für BankenAnwendungssysteme
„
Application-Hosting
„
Telekommunikation und Netzwerke
„ Unterstützung
Unterstüt ng Business
B siness Prozesse
Pro esse
„
Mailingservice
„
Output-Management
„
Dokumentenmanagement/Archivierung
„
Kundenservice-Prozesse
„
Card Management System
„
© GAD 2010
Produktion, Kryptografie
Chart-Nr. 8
GAD – Die Kompetenzen im Überblick
Standard-Bankensoftware
Business Prozesse
I f
Infrastruktur
t kt
© GAD 2010
Chart-Nr. 9
GAD – Die Kompetenzen im Überblick
• Vertriebsbank
• Produktionsbank
• Steuerungsbank
Standard-Bankensoftware
Business Prozesse
I f
Infrastruktur
t kt
© GAD 2010
Chart-Nr. 10
GAD – Die Kompetenzen im Überblick
• Vertriebsbank
• Kundenservice-Prozesse
• Produktionsbank
• Outputmanagement
• Steuerungsbank
g
• Dokumentenmanagement/
Archivierung
• Personalwirtschaft
Standard-Bankensoftware
Business Prozesse
I f
Infrastruktur
t kt
© GAD 2010
Chart-Nr. 11
GAD – Die Kompetenzen im Überblick
• Vertriebsbank
• Kundenservice-Prozesse
• Produktionsbank
• Outputmanagement
• Steuerungsbank
g
• Dokumentenmanagement/
Archivierung
• Personalwirtschaft
Standard-Bankensoftware
Business Prozesse
•Rechenzentrumsbetrieb
•Application Hosting
•Telekommunikation
T l k
ik ti und
d Netzwerke
N t
k
I f
Infrastruktur
t kt
© GAD 2010
Chart-Nr. 12
Zahlen und Fakten 2010
„ Umsatz in Mio. Euro:
406*
„ Umsatz GAD Unternehmensgruppe
in Mio. Euro:
„ Anzahl Mitarbeiter:
„ Banken:
„ Bankarbeitsplätze:
© GAD 2010
Chart-Nr. 13
645*
1 695
1.695
436
60.779
*vorläufiges Ergebnis: Stand 31.01.2011
Zahlen und Fakten 2010
„ Buchungsposten in Mrd.:
„ Transaktionen in Mrd.:
2,25
15,16
„ GAA-Abhebungen in Mio.:
209,15
„ SB-Kontoauszüge
SB Kontoauszüge in Mio
Mio.::
236 43
236,43
„ aktive Konten in Mio.:
29,69
„ SB-Kontokorrentkonten mit
Internet-Nutzung in Mio.:
„ SB-Geräte:
© GAD 2010
Chart-Nr. 14
3,95
15.720
Kennzahlen des Rechenzentrums
„ Rechnerausstattung:
6 IBM z10 2097 E64
„ Hauptspeicherkapazität Großrechner:
2.360 Gigabyte Hauptspeicher
„ Anzahl
Server:
934
Unix-Server
1238
1394
829
Linux und
Virtuelle UnixVirtuelle Linux- u.
1
Server (LPARs & Zonen) Windows-Server Windows-Server
1
© GAD 2010
Chart-Nr. 15
LPARs = IBM-Systeme, Zonen = Sun-Systeme
Kennzahlen des Rechenzentrums
„ Leistungsfähigkeit der Großrechner:
100.370 MIPS (Mio. Instruktionen pro Sek.)
„ Gesamtspeicherkapazität:
461 Terabyte
© GAD 2010
Chart-Nr. 16
GAD - Unternehmensgruppe
© GAD 2010
Chart-Nr. 17
Auszug Kundenliste GAD Unternehmensgruppe
© GAD 2010
Chart-Nr. 18
WebSphere MQ in der GAD
Helmut Frenk
Guido Löffler
© GAD 2010
WebSphere MQ in der GAD
Verteilung Komponenten
„ Fast alle Queuemanager laufen unter z/OS
„
Nur wenige Queuemanager auf dezentralen
Pl ttf
Plattformen
„ UNIX- und Windows-Server im RZ sind
überwiegend als MQ
MQ-Clients
Clients angebunden
„ MQ-Clients sind auf allen
Bankarbeitsplätzen installiert
© GAD 2010
Chart-Nr. 20
Linux
XGHCIC1
XGHCIC4
XGHCIP01
XGHCIP08
XGC1
IMS2A
IMS2C
XG2A
XG2B
„
XGC2
MQ Server-Server Verbindungen
zu GW –QMGR der
Verbundpartner
XGC3
IMS3A
IMS3C
IMSLA
IMSLC
XG3A
XG3B
XGLA
E-Plex
IMSEC
XG1B
GW
XG1A
XGEA
Eigene Clientverbindungen
Netz intern
XGLB
O-Plex
IMSEA
XGC4
GW
XGET
Windows Clienten auf
GAD Arbeitsplatzrechnern
dezentral
XGA1
XGA6
XG2T
XGXT
XGEB
XGE2
IMSIA
IMSIC
XGIA
XGIB
XGE3
IMSWA
IMSWC
XGWA
XG2U
XGWB
XGE4
© GAD 2010
Chart-Nr. 21
Pro Mandantegruppe ein QMGR Paar
XGXU
A-Plex
WebSphere MQ in der GAD
Mengengerüst
„
„
„
„
„
„
„
© GAD 2010
104 Queuemanager auf z/OS
(70 Produktion + 34 Entwicklung/Test)
< 15 dezentrale Queuemanager im RZ
> 40.000 Clients
> 65.000 lokale Queues
> 40.000.000 Messages pro Tag
> 50 unterschiedliche Anwendungen mit
MQ-Nutzung im O-Plex
> 15 unterschiedliche Anwendungen mit
MQ-Nutzung im A-Plex
Chart-Nr. 22
Überwachung WebSphere
MQ
© GAD 2010
Überwachung WebSphere MQ
„ Überwachung gliedert sich in
„
„
© GAD 2010
Überwachung von System-bezogenen
K
Komponenten
t
„
MQ-Channel
„
System Queues
System-Queues
„
Queuemanager-Ressourcen
Überwachung von anwendungsbezogenen
Komponenten d.h. Queues
„
Regelung über Description-Feld der Queue
„
Verschiedene Messwerte
„
Nachrichten-Alter
„
Q
Queue-Tiefe
Ti f
„
Handle/Prozess
Chart-Nr. 24
Überwachung WebSphere MQ
„ Überwachung gliedert sich in
„
„
© GAD 2010
Überwachung von System-bezogenen
K
Komponenten
t
„
MQ-Channel
„
System Queues
System-Queues
„
Queuemanager-Ressourcen
Überwachung von anwendungsbezogenen
Komponenten d.h. Queues
„
Regelung über Description-Feld der Queue
„
Verschiedene Messwerte
„
Nachrichten-Alter
„
Q
Queue-Tiefe
Ti f
„
Handle/Prozess
Chart-Nr. 25
Überwachung WebSphere MQ
MQ-Channel
„ Regelmäßige Prüfung per "Qmgr-Ping"
„
„
© GAD 2010
TWS-Job
PUT Messages in "loopback" Remote-Queue
Chart-Nr. 26
Überwachung WebSphere MQ
System-Queues
„ Dead-Letter-Queue
„
„
© GAD 2010
USER Event im AutoOperator
Entweder löschen oder
Eskalation an zentrale Eventkonsole
Chart-Nr. 27
Überwachung WebSphere MQ
Queuemanager-Ressourcen
„ Message-driven-automation
„
„
„
© GAD 2010
Bufferpools
Coupling Facility
Log Files
Chart-Nr. 28
Überwachung WebSphere MQ
Situation
„ Verschiedene Namenskonventionen
„
„
IMS-Umgebung
bank21
„ Verschiedene Eskalationen
„
„
„
Mail
Zentrale Serviceview
GAD Mainframe Eventkonsole
„ Schwellwerte
„
© GAD 2010
Queuebezogen
Chart-Nr. 29
Überwachung WebSphere MQ
Konfiguration 1/4
„ Eskalationsparameter
„
„
Mail: Mailverteiler
ServiceView: Produktzugehörigkeit
„ 10 Schwellwerte für Q-Tiefe
„
„
>0, <1
>10, >20, …, >20 000
„ Schwellwerte für MsgAge
„
„
„
© GAD 2010
>10 Minuten, >60 Minuten, >24 Stunden
Eskalation nur 7—19Uhr, ..
Eskalation abhängig von TWS-Jobs
Chart-Nr. 30
Überwachung WebSphere MQ
Konfiguration 2/4
„ Alternativen zur Speicherung
„
„
„
Externe Datei
Datenbank
Queue Description
„ Vorteile
„
„
„
„
Queueweise Überwachungskonfiguration
Übersicht in MAINVIEW (VIEW QUEUES)
Performante Abfrage
Filtermöglichkeit für MV-Alarms
„ Nachteil
„
© GAD 2010
Eingeschränkter Speicherplatz
Chart-Nr. 31
Überwachung WebSphere MQ
Konfiguration 3/4
„ Aufteilung der Queue Description
„
Überwachung und Escalation
„
Ü1 Schwellwerte
S h ll
t fü
für MessageAlter
M
Alt
„
„
„
© GAD 2010
1=10Min, 2=24Std, 6=60Min
Ü2 Eskalation
„
1=Mail, 2=ServiceView, 4=EventKonsole
„
Kombination durch Summe
Ü3 Schwellwert für Queue-Tiefe
Chart-Nr. 32
Überwachung WebSphere MQ
Konfiguration 4/4
„ Aufteilung der Queue Description
„
„
„
„
„
„
© GAD 2010
Überwachung und Escalation
Anwendungkürzel aus 2 Komponten.
Umgebung: Mandantengruppe, Linie,
Test/Prod, ...
Prozessangabe über Leser
: als Abschluss der genormten Description
Eigentliche Description der Queue
Chart-Nr. 33
Umsetzung Überwachung
© GAD 2010
Überwachung WebSphere MQ
Monitoring MsgAge 1/5
„ 3 Timer-Rules für Prüfung per REXX
„
„
„
© GAD 2010
10min Prüfung auf Fehler
20min Prüfung ob OK
00:00Uhr reset Array der alarmierten Queues
Chart-Nr. 35
Überwachung WebSphere MQ
Monitoring MsgAge 2/5 - Prüfung auf Fehler
MSGAGE00
•
•
•
•
„ Abfrage QueueDescription und als Stem speichern
MQ
Array schon alarmierter Queues neu Anlegen oder Öffnen
Queues Abfrage MSGAGE>10minuten
Q
Queue-weise
i üb
überprüfen
üf
MSGAGE00
MSGAGE01
• Übergebene Queue Parameter einlesen
• Queue Description parsen: Escalation, check
• Falls eskaliert werden muss,
• Queue und MsgAge in Array speichern
• Prozedure aufrufen (ext. REXX), falls neuer Event
REXX
• GADMAIL
• GADZIS
• GADALC
© GAD 2010
Chart-Nr. 36
Überwachung WebSphere MQ
Monitoring MsgAge 3/5 – Code Of Interests
„ Skript
© GAD 2010
Chart-Nr. 37
Überwachung WebSphere MQ
Monitoring MsgAge 4/5 - Prüfung ob OK / Reset
MSGAGE02
„
• Alamierter
Queues aus Array lesen,
oder (Timer03) komplettes Array löschen.
• Queue-weise überprüfen
MSGAGE00
Pro Queue:
•
•
•
•
•
Ermitteln des Timestamps der ältesten Message
Test: Neuer Timestamp < max Zeitdauer
Falls nein,
Älteste ist zu alt => kein HARMLESS
sonst,, Fehler behoben
=> HARMLESS schicken und aus Array löschen
REXX
• GADMAIL
• GADZIS
• GADALC
© GAD 2010
Chart-Nr. 38
Überwachung WebSphere MQ
Monitoring MsgAge 5/5 – Code Of Interests
„ Skript
© GAD 2010
Chart-Nr. 39
Überwachung WebSphere MQ
Offene Punkte
„ Offene Punkte
„
E k l ti abhängig
Eskalation
bhä i von TWS
TWS-Jobs
J b
„
„
© GAD 2010
Idee:
Per TWS AAO-Profile-Variable setzen,, die
Eskalation ein-/ausschaltet.
Name der Variable ^= Name lesender Anwendung
MVAlarme für Q
Q-Tiefe
Tiefe nicht genutzt und noch nicht
migriert.
Chart-Nr. 40
Fazit
„ Nutzung der Queue-Description ermöglicht
;
;
guten Überblick über MonitoringK fi
Konfiguration
ti (Sort,
(S t Sum,
S
…))
Queue-abhängige Konfiguration ohne
zusätzlichen Speicherbedarf
; 3 Schwellwerte für Queue-Alter ausreichend,
g menschl. Reaktionszeit.
wegen
: Anzahl Schwellwerte beschränkt.
: ALTER bei bestehenden Queues aufwendig
© GAD 2010
Chart-Nr. 41
Fragen?
© GAD 2010
Chart-Nr. 42
Fragen?
„ Danke
© GAD 2010
Chart-Nr. 43
Überwachung WebSphere MQ
Monitoring Queue-Tiefe 1/2
„ Umsetzung per MVAlarm
„
Pro Schwellwert eine View
Pro Schwellwert einen Alarm
„
R l und
Rule
d REXX zur E
Eskalation
k l i
„
© GAD 2010
Chart-Nr. 44
Überwachung WebSphere MQ
Monitoring Queue-Tiefe 2/2
„ Eine Rule für alle Alarme
„ REXX zur
u Eskalation
s a at o
© GAD 2010
Chart-Nr. 45
Überwachung WebSphere MQ
Monitoring andere Werte 1/1
„ Stets besondere Andwendungen
und somit Ausnahmen.
„ Umsetzung per MV-Alarm
© GAD 2010
Chart-Nr. 46