Markov-Prozesse und stationärer Zustand

30.01.2020, 18:37

Der_Apfel

Markov-Prozesse und stationärer Zustand

Gegeben ist die Zustandsübergangsmatrix zwischen 4 Zuständen:

$\begin{eqnarray*} \begin{bmatrix} 1 & 0 & 0.35 & 0.2\\ 0 & 1 & 0.4 & 0.1\\ 0 & 0 & 0.15 & 0.4\\ 0 & 0 & 0.1 & 0.3 \end{bmatrix} \end{eqnarray*}$

und Startbelegung:

$\begin{eqnarray*} s_0 = \begin{bmatrix}0.2\\0.3\\0.4\\0.1 \end{bmatrix} \end{eqnarray*}$

Für den stationären Zustand sucht man den Eigenvektor zum Eigenwert $\begin{eqnarray*} 1 \end{eqnarray*}$ . Dieser muss folgende Gleichung erfüllen:

$\begin{eqnarray*} \begin{bmatrix} 1 & 0 & 0.35 & 0.2\\ 0 & 1 & 0.4 & 0.1\\ 0 & 0 & 0.15 & 0.4\\ 0 & 0 & 0.1 & 0.3 \end{bmatrix} \cdot \begin{bmatrix} N \\ G \\ R \\D \end{bmatrix} = \begin{bmatrix} N \\ G \\ R \\D \end{bmatrix} \end{eqnarray*}$

man kann dann umformen zu:

$\begin{eqnarray*} \begin{bmatrix} 0 & 0 & 0.35 & 0.2\\ 0 & 0 & 0.4 & 0.1\\ 0 & 0 & -0.85 & 0.4\\ 0 & 0 & 0.1 & -0.7 \end{bmatrix} \cdot \begin{bmatrix} N \\ G \\ R \\D \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \end{bmatrix} \end{eqnarray*}$

Man muss nun die zusätzliche Bedingung $\begin{eqnarray*} N + G + R + D = 1 \end{eqnarray*}$ mit ins Spiel bringen. In der VL wurde es so besprochen, dass man prinzipiell jede Gleichung des Gleichungssystems damit ersetzen kann.

$\begin{eqnarray*} \begin{bmatrix} 1 & 1 & 1 & 1\\ 0 & 0 & 0.4 & 0.1\\ 0 & 0 & -0.85 & 0.4\\ 0 & 0 & 0.1 & -0.7 \end{bmatrix} \cdot \begin{bmatrix} N \\ G \\ R \\D \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \\ 0 \\ 0 \end{bmatrix} \end{eqnarray*}$

Eine Stufe Gauss-Algorithmus:

$\begin{eqnarray*} \begin{bmatrix} 1 & 1 & 1 & 1\\ 0 & 0 & 0.4 & 0.1\\ 0 & 0 & -0.85 & 0.4\\ 0 & 0 & 0 & -\frac{111}{170} \end{bmatrix} \cdot \begin{bmatrix} N \\ G \\ R \\D \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \\ 0 \\ 0 \end{bmatrix} \end{eqnarray*}$

Hmmm verwirrt

Da komme ich auf keinen grünen Zweig. Laut Musterlösung ist $\begin{eqnarray*} D = 0, R = 0 \end{eqnarray*}$ und $\begin{eqnarray*} N + G = 1 \end{eqnarray*}$ (mehr kann man anscheinend nicht aussagen).

Aber wenn ich das obere Gleichungssystem schrittweise auflöse komme ich doch auf:
$\begin{eqnarray*} D = 0, R = 0, G = 0, N = 1 \end{eqnarray*}$ ? Aber das ist nicht möglich, da es vom Zustand G keine "Abwanderung" hin zu anderen Zuständen gibt (siehe Zustandsübergangsmatrix)? verwirrt

Help

30.01.2020, 19:04

Nils Hoppenstedt

Auf diesen Beitrag antworten »

RE: Markov-Prozesse und stationärer Zustand
Dass die Zusatzbedingung N + G + R + D = 1 die erste Zeile ersetzt, kommt mir suspekt vor. Die Information, die in der ersten Zeile steckt, geht doch dann verloren. Wahrscheinlich meinst du, dass man die Normierungsbedingung als zusätzliche Zeile einfügt.

Nils

30.01.2020, 19:24

Nils Hoppenstedt

Auf diesen Beitrag antworten »

Edit: mir ist gerade aufgefallen, dass die stationäre Lösung hier gar nicht eindeutig ist, da die Kette nicht irreduzibel ist. Hammer

Hier gibt es zwei stationäre Zustände 1 und 2 und die Zustände 3 und 4 sind beide mit den Zuständen 1 und 2 verbunden. Das heißt irgendwann landet man entweder bei Zustand 1 oder Zustand 2 und bleibt da für ewig gefangen. Ein stationärer Zustand ist also jeder Zustand der Form (x,y,0,0) mit x+y = 1.

30.01.2020, 19:28

Der_Apfel

Auf diesen Beitrag antworten »

Danke für deine Antwort,

in der VL wurde angemerkt, dass diese Art von Gleichungssystem generell linear abhängige Zeilen enthält und man deswegen eine wegstreichen und dann ersetzen kann. Aber in diesem Fall gebe ich dir recht, dass die Information verloren geht da $\begin{eqnarray*} N \end{eqnarray*}$ und $\begin{eqnarray*} G \end{eqnarray*}$ in keiner anderen Gleichung mehr vorkommen.

Wenn man die Bedingung $\begin{eqnarray*} N + G + R + D = 1 \end{eqnarray*}$ hinzufügt, sieht das Gleichungssystem so aus:

$\begin{eqnarray*} \begin{bmatrix} 1 & 1 & 1 & 1\\ 0 & 0 & 0.35 & 0.2\\ 0 & 0 & 0.4 & 0.1\\ 0 & 0 & -0.85 & 0.4\\ 0 & 0 & 0.1 & -0.7 \end{bmatrix} \cdot \begin{bmatrix} N \\ G \\ R \\ D \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \\ 0 \\ 0 \\ 0\end{bmatrix} \end{eqnarray*}$

Hmm, hab ich was übersehen? So wirklich weiter gekommen bin ich auch nicht

Zitat:

Ein stationärer Zustand ist also jeder Zustand der Form (x,y,0,0) mit x+y = 1.

Exakt. Wenn man sich den Zustandsübergangsgraphen aufmalt, dann sieht man schön, dass aus N und G nichts mehr rausgeht, d.h. R und D sind "am Ende" garantiert 0.

Aber wie begründe ich das anhand der Matrix?
Ich vermute, in der Prüfung zählt die Antwort "Sieht man doch am Graphen" nicht.

Da die Spalten in der Matrix für N und G nur Nuller enthalten - kann man deswegen sagen, dass man N und G frei wählen darf (mit Einschränkung, dass N + G + R + D = 1)?
Bleibt noch, wie man auf R und D = 0 kommt verwirrt

30.01.2020, 20:04

Nils Hoppenstedt

Auf diesen Beitrag antworten »

Zitat:

Original von Nils Hoppenstedt
Hier gibt es zwei stationäre Zustände 1 und 2 und die Zustände 3 und 4 sind beide mit den Zuständen 1 und 2 verbunden. Hier gibt es zwei stationäre Zustände 1 und 2 und die Zustände 3 und 4 sind beide mit den Zuständen 1 und 2 verbunden. Das heißt irgendwann landet man entweder bei Zustand 1 oder Zustand 2 und bleibt da für ewig gefangen. Ein stationärer Zustand ist also jeder Zustand der Form (x,y,0,0) mit x+y = 1.

Sorry, ich meinte natürlich: hier gibt es zwei absorbierende Zustände 1 und 2. Die anderen Zustände 3 und 4 sind dagegen transient. Die einzigen stationären Zustände sind also genau die Zustände, die mit irgendeiner beliebigen Verteilung bei 1 oder 2 starten.

Reicht das denn nicht als Begründung? verwirrt

30.01.2020, 20:29

seinfeld

Auf diesen Beitrag antworten »

Zitat:

Aber wenn ich das obere Gleichungssystem schrittweise auflöse komme ich doch auf: D=0,R=0,G=0,N=1

G=0 und N=1 ist nur eine von unendlich vielen Lösungen.

Wenn du D=0 und R=0 in die erste Gleichung einsetzt, dann hast du eben N+G+R+D=1 <=> N+G+0+0=1 <=> N+G=1 <=> G=1-N

Die Lösungemenge hat die Dimension 1, ist also von einem Parameter abhängig - somit entsteht als allgemeiner Lösungsvektor $\begin{eqnarray*} \begin{pmatrix} N \\ G \\ R \\ D \end{pmatrix}= \begin{pmatrix} N \\ 1-N \\ 0 \\ 0 \end{pmatrix} \end{eqnarray*}$

30.01.2020, 20:30

Der_Apfel

Auf diesen Beitrag antworten »

@Nils Hoppenstedt Wie würde man das anhand der Zustandsübergangsmatrix argumentieren (also Nullraum etc.)?

Zitat:

Die Lösungemenge hat die Dimension 1

Wie kommst du da drauf?

30.01.2020, 20:40

seinfeld

Auf diesen Beitrag antworten »

Der Grund der ein-dimensionalen Lösungsmenge steht direkt neben dem Komma.
Wäre auch R noch ein absorbierender Zustand, dann würde nur D=0 folgen und die Lösungsmenge würde von 2 Parametern abhängen (zwei-dimensional).

30.01.2020, 20:44

Nils Hoppenstedt

Auf diesen Beitrag antworten »

Zitat:

Original von Der_Apfel
@Nils Hoppenstedt Wie würde man das anhand der Zustandsübergangsmatrix argumentieren (also Nullraum etc.)?

In diesem konkreten Beispiel so:

P11 = P22 = 1 => Zustand 1 und Zustand 2 sind absorbierend
P13 ungleich Null => Zustand 3 ist transient, da mit einem absorbierenden Zustand verbunden
P14 ungleich Null => Zustand 4 ist transient, da mit einem absorbierenden Zustand verbunden

=> alle Verteilungen der Form (x,y,0,0) mit x+y=1 sind die einzigen stationären Verteilungen.

Nils

31.01.2020, 13:02

Der_Apfel

Auf diesen Beitrag antworten »

Danke euch smile

Neue Frage »

Antworten »

Markov-Prozesse und stationärer Zustand

Verwandte Themen