Blatt 8 : Markovketten 1. Markovketten mit zwei Zuständen (4 Punkte

Universität Potsdam, Institut für Physik und Astronomie
Ralf Tönjes, Henning Krüsemann
Sommersemester 2013
Scientific Computing
Blatt 8 : Markovketten
1. Markovketten mit zwei Zuständen (4 Punkte)
(a) Charakterisieren Sie alle möglichen Markovketten mit zwei Zuständen (stochastische 2 × 2 Matrizen).
(b) Wenn die Wahrscheinlichkeitsverteilung über die beiden Zustände zum Zeitpunkt
t0 durch den Vektor p~0 geggeben ist, wie lautet die Wahrscheinlichkeitsverteilung
nach n Schritten im allgemeinen Fall bzw. in den möglichen Spezialfällen?
Hinweis : Parametrisieren Sie die Menge der stochastischen 2×2 Matrizen, und bestimmen Sie die Eigenwerte, sowie linken und rechten Eigenvektoren in Abhängigkeit von
den Parametern. Nutzen Sie diese Eigenvektoren und Eigenwerte für die Lösung des
allgemeinen Problems. Die Spezialfälle können separat betrachtet oder als Grenzfälle
der allgemeinen Lösung hergeleitet werden.
2. Urnenmodell (6+2 Punkte)
Eine Urne sei mit M ≥ 2 Kugeln gefüllt, welche entweder schwarz ( ) oder weiß (#)
sind. Die Anzahl der schwarzen Kugeln sei 0 ≤ N ≤ M . Es werden nun nacheinander
zwei zufällige Kugeln gezogen. Jenachdem, welche Farben (a0 , a1 ) ∈ { , #}2 diese Kugeln haben, werden wiederum zwei Kugeln mit den Farben (b0 , b1 ) in die Urne zurückgelegt. Für die vier verschiedenen Ausgänge einer Doppelziehung gibt es jeweils drei
verschiedene Möglichkeiten der Ersetzung, da die Reihenfolge der Ersetzung im Gegensatz zur Ziehung keine Rolle spielt (Tab. 1). Damit gibt es für dieses Urnenmodell genau
34 = 81 verschiedene Ersetzungsregeln. Die Anzahl N (t) der schwarzen Kugeln in der
Urne ist ein Zufallsprozess der durch eine Markovkette mit Wahrscheinlichkeitsverteilung pn (t) = P (N (t) == n) beschrieben werden kann.
(a) Bestimmen Sie die Übergänge und Übergangswahrscheinlichkeiten von einem Zustand N (t) für die Regeln in Tabelle 1.
(b) Gibt es jeweils einen, keinen oder zwei absorbierende Zustände? Ist die Markovkette
periodisch oder aperiodisch?
(c) Generieren Sie jeweils die Wahrscheinlichkeitsverteilungen P[n,t] mit P[n,0] =
δnN0 für eine gegebene Urnengöße M und repräsentative Anfangszahl N0 von
schwarzen Kugeln und stellen Sie diese Matrix grafisch dar. Skalieren Sie die Werte
der Matrix gegebenenfalls, um den Kontrast der Darstellung zu verbessern.
1
(d) Gibt es zwei verschiedene absorbierende Zustände, so gibt es eine Wahrscheinlichkeit im einen oder im anderen Zustand zu enden, welche von der Anfangsposition
N0 abhängt. Bestimmen Sie für Regel (i) numerisch die Wahrscheinlichkeit, dass
die Urne im absorbierenden Zustand vollständig mit schwarzen Kugeln gefüllt ist
als Funktion von N0 .
(e) (Zusatzaufgabe +2P) Berechnen Sie für Regel (i) die linken und rechten Eigenvektoren ~ust und ~v st der Übergangsmatrix mit Eigenwerten |λst | = 1. Wie berechnet
sich die Wahrscheinlichkeit in einem der absorbierenden Zustände zu landen aus
diesen Eigenvektoren?
Ziehung
##
#
#
Regel (i)
Verdrängung
##
Regel (ii)
Teilung/Vernichtung
##
Regel (iii)
Switch 1st
#
##
##
#
##
Regel (iv)
Ying-Yang
#
#
#
#
Tabelle 1: Ersetzungsregeln für das Urnenmodell. Jeweils zwei Kugeln ”reagieren miteinander”
und werden durch zwei ”Reaktionsprodukte” ersetzt. Bei Regel (i) wird die zuerstgezogene
Kugel durch die Sorte der als zweites gezogenen Kugel ersetzt. In Regel (ii) wandelt eine
schwarze Kugel eine Weisse Kugel um, aber zwei schwarze Kugeln ”reagieren” zu zwei weissen
Kugeln. Regel (iii) wechselt nur die Farbe der zuerstgezogenen Kugel und Regel (iv) gibt
immer eine schwarze und eine weisse Kugel zurück in die Urne.
2