Stationäre Verteilung eines Markow-Prozesses

12.11.2016, 16:56

MaximG

Auf diesen Beitrag antworten »

Stationäre Verteilung eines Markow-Prozesses

Meine Frage:
Hallo,
die folgende Aufgabenstellung ist gegeben:

Betrachten Sie einen Prozess mit den Zuständen $\begin{eqnarray*} q_{0},...,q_{m} \end{eqnarray*}$ . Von Zustand $\begin{eqnarray*} q_{i} \end{eqnarray*}$ gehr man über in Zustand $\begin{eqnarray*} q_{i-1} \end{eqnarray*}$ mit Wahrscheinlichkeit $\begin{eqnarray*} \frac{i}{m} \end{eqnarray*}$ und in Zustand $\begin{eqnarray*} q_{i+1} \end{eqnarray*}$ mit Wahrscheinlichkeit $\begin{eqnarray*} 1-\frac{i}{m} \end{eqnarray*}$ . Berechnen Sie eine stationäre Verteilung dieses Prozesses.

Meine Ideen:
Ich gehe wie folgt vor:

1. Ich erstelle eine Matrix = $\begin{eqnarray*} \begin{pmatrix} 0 & \frac{i}{m} & 0 \\ 1-\frac{i}{m} & 0 & \frac{i}{m} \\ 0 & 1-\frac{i}{m} & 0 \end{pmatrix} \end{eqnarray*}$

2. Um die Gleichungen später besser lösen zu können, verwende ich $\begin{eqnarray*} p = \frac{i}{m} \end{eqnarray*}$

3. Im nächsten Schritt multipliziere ich die Matrix mit dem Vektor: $\begin{eqnarray*} \begin{pmatrix} 0 & p & 0 \\ 1-p & 0 & p \\ 0 & 1-p & 0 \end{pmatrix} * \begin{pmatrix} A \\ B \\ C \end{pmatrix} = \begin{pmatrix} A \\ B \\ C \end{pmatrix} \end{eqnarray*}$

4. Daraus ergeben sich die folgenden Gleichungen:
A = p * b
B = ((1-p)A) + (p*C)
C = ((1 - p)B)

5. Wenn ich nun die Gleichungen nach A,B und C löse, bekomme ich für alle 3 Variablen das Ergebnis 0 als stationäre Verteilung raus. Auch die Online-Rechner geben das nichttriviale Ergebnis $\begin{eqnarray*} \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{eqnarray*}$ aus.

Dies finde ich allerdings merkwürdig, da $\begin{eqnarray*} A+B+C=1 \end{eqnarray*}$ ergeben sollte. Sind meine Formeln falsch? Ist meine Herangehensweise komplett falsch oder gibt es für diese Aufgabe einfach keine stationäre Verteilung?

Danke schonmal für Eure Hilfe!

12.11.2016, 20:49

Math1986

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Ich habe das Latex korrigiert.

Zitat:

Original von MaximG
1. Ich erstelle eine Matrix = $\begin{eqnarray*} \begin{pmatrix} 0 & \frac{i}{m} & 0 \\ 1-\frac{i}{m} & 0 & \frac{i}{m} \\ 0 & 1-\frac{i}{m} & 0 \end{pmatrix} \end{eqnarray*}$

Ist dies eine Markow-Matrix? Eine Matrix heißt Markow-Matrix, wenn die Zeilensumme eins ergibt. ist das hier der Fall?

Wenn du die Aufgabe schon für den Spezialfall $\begin{eqnarray*} m=2 \end{eqnarray*}$ rechnest, dann setz doch mal konkrete Zahlen ein.

12.11.2016, 21:27

MaximG

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Egal was ich für i und m einsetze, bekomme ich keine Zeilensumme = 1 raus. Also kann ich daraus schließen, dass die Markov-Matrix falsch ist? Wie würdest du denn die Matrix laut der Aufgabenstellung aufstellen?

12.11.2016, 22:12

Math1986

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses

Zitat:

Original von MaximG
Egal was ich für i und m einsetze, bekomme ich keine Zeilensumme = 1 raus. Also kann ich daraus schließen, dass die Markov-Matrix falsch ist? Wie würdest du denn die Matrix laut der Aufgabenstellung aufstellen?

Richtig, deine Matrix ist keine Markow-Matrix (zumindest nicht für beliebige $\begin{eqnarray*} i \end{eqnarray*}$ und $\begin{eqnarray*} m \end{eqnarray*}$ , es gibt da durchaus eine mögliche Wahl...).

Zitat:

Betrachten Sie einen Prozess mit den Zuständen $\begin{eqnarray*} q_{0},...,q_{m} \end{eqnarray*}$ . Von Zustand $\begin{eqnarray*} q_{i} \end{eqnarray*}$ gehr man über in Zustand $\begin{eqnarray*} q_{i-1} \end{eqnarray*}$ mit Wahrscheinlichkeit $\begin{eqnarray*} \frac{i}{m} \end{eqnarray*}$ und in Zustand $\begin{eqnarray*} q_{i+1} \end{eqnarray*}$ mit Wahrscheinlichkeit $\begin{eqnarray*} 1-\frac{i}{m} \end{eqnarray*}$ .

Beispiel $\begin{eqnarray*} m=2 \end{eqnarray*}$ : Du hast die Zustände $\begin{eqnarray*} q_0, q_1, q_2 \end{eqnarray*}$ .

Die Wahrscheinlichkeit, von Zustand $\begin{eqnarray*} q_0 \end{eqnarray*}$ in Zustand $\begin{eqnarray*} q_1 \end{eqnarray*}$ überzugehen, ist nach Aufgabenstellung $\begin{eqnarray*} 1 \end{eqnarray*}$ .
Dies folgt durch Einsetzen von $\begin{eqnarray*} i=0 \end{eqnarray*}$ und $\begin{eqnarray*} m=2 \end{eqnarray*}$ in die zweite obige Formel. Du kannst also nicht einfach mal irgendwelche Zahlen für $\begin{eqnarray*} i \end{eqnarray*}$ und $\begin{eqnarray*} m \end{eqnarray*}$ einsetzen.

Klar soweit? Dann berechne die anderen Zustandsübergänge.

12.11.2016, 22:48

MaximG

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Top - ich glaube ich habe es verstanden. Die Matrix lautet dann wie folgt:

$\begin{eqnarray*} $\begin{pmatrix}0 & 1 & 0 \\ 0,5 & 0 & 0,5 \\ 0 & 1 & 0 \end{pmatrix}$ \end{eqnarray*}$

Das ganze multipliziert mit dem Vektor $\begin{eqnarray*} $\begin{pmatrix}A \\ B \\ C \end{pmatrix}$ \end{eqnarray*}$ ergibt die folgenden Gleichungen:

B = A
0,5A + 0,5 C = B
B = C

Und eine mögliche stationäre Verteilung wäre dann A, B, C = 2.

12.11.2016, 22:58

Math1986

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses

Zitat:

Original von MaximG
Top - ich glaube ich habe es verstanden. Die Matrix lautet dann wie folgt:

$\begin{eqnarray*} $\begin{pmatrix}0 & 1 & 0 \\ 0,5 & 0 & 0,5 \\ 0 & 1 & 0 \end{pmatrix}$ \end{eqnarray*}$

Richtig. Du solltest aber auch angeben, welche Zeile/Spalte mit welchem Zustand korrespondiert.

Zitat:

Das ganze multipliziert mit dem Vektor $\begin{eqnarray*} $\begin{pmatrix}A \\ B \\ C \end{pmatrix}$ \end{eqnarray*}$ ergibt die folgenden Gleichungen:

B = A
0,5A + 0,5 C = B
B = C

Und eine mögliche stationäre Verteilung wäre dann A, B, C = 2.

Wie war das oben mit "Dies finde ich allerdings merkwürdig, da $\begin{eqnarray*} A+B+C=1 \end{eqnarray*}$ ergeben sollte. " ?

Nun kommt der Fall für allgemeines $\begin{eqnarray*} m \end{eqnarray*}$ .

Anzeige

12.11.2016, 23:32

MaximG

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Stimmt. Aber da A = B = C gilt, ist die stationäre Verteilung dann für m = 2:
$\begin{eqnarray*} \begin{pmatrix} 1/3 \\ 1/3 \\ 1/3 \end{pmatrix} $ \end{eqnarray*}$

Und für ein allgemeines m gilt dann 1/(m+1)?

12.11.2016, 23:37

Math1986

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses

Zitat:

Original von MaximG
Stimmt. Aber da A = B = C gilt, ist die stationäre Verteilung dann für m = 2:
$\begin{eqnarray*} \begin{pmatrix} 1/3 \\ 1/3 \\ 1/3 \end{pmatrix} $ \end{eqnarray*}$

Ja

Zitat:

Original von MaximG
Und für ein allgemeines m gilt dann 1/(m+1)?

Das solltest du näher ausführen, wie sieht denn die Markow-Matrix für allgemeines m aus?

13.11.2016, 00:44

MaximG

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Nun weiß ich nicht was du genau meinst. Wäre nett, wenn du einmal auflösen würdest..

13.11.2016, 08:00

Math1986

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses

Zitat:

Original von MaximG
Nun weiß ich nicht was du genau meinst. Wäre nett, wenn du einmal auflösen würdest..

Was genau weißt du nicht? m muss ja nicht zwangsläufig 3 sein, m ist eine allgemeine Variable.

13.11.2016, 10:26

MaximG

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses

Zitat:

Original von Math1986

Zitat:

Original von MaximG
Nun weiß ich nicht was du genau meinst. Wäre nett, wenn du einmal auflösen würdest..

Was genau weißt du nicht? m muss ja nicht zwangsläufig 3 sein, m ist eine allgemeine Variable.

Ich verstehe, dass m die Anzahl der Zustände ergibt. Nämlich von $\begin{eqnarray*} q_0 \end{eqnarray*}$ bis $\begin{eqnarray*} q_m \end{eqnarray*}$ .

Aber mir fehlt das Wissen, wie ich nun so eine Markov-Matrix für ein allgemeines m aufstelle aufstelle..

13.11.2016, 10:41

Math1986

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Na, die Übergangswahrscheinlichkeiten sind oben angegeben. Hier musst du zunächst einmal das gegebene m einsetzen. Dann bildest du eine Matrix, wo du die Übergangswahrscheinlichkeiten einsetzt.

13.11.2016, 10:45

MaximG

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Wäre das so richtig?

$\begin{eqnarray*} $<br /> \begin{pmatrix}<br /> 0 & 1-\frac{i}{m} & 0 & ... & 0 \\<br /> \frac{i}{m} & 0 & 1-\frac{i}{m} & ... & 0 \\<br /> 0 & \frac{i}{m} & 0 & ... & 0 \\<br /> ... & ... & ... & & ...\\<br /> 0 & 0 & 0 & \frac{i}{m} & 0<br /> \end{pmatrix}<br /> $ \end{eqnarray*}$

13.11.2016, 10:47

Math1986

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Sieht gut aus soweit. Du solltest aber auch angeben, welche Zeile/Spalte mit welchem Zustand korrespondiert. Für das i kannst du jeweils konkrete Werte einsetzen.

13.11.2016, 10:50

MaximG

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
So?

$\begin{eqnarray*} $<br /> \begin{pmatrix}<br /> 0 & 1-\frac{0}{m} & 0 & ... & 0 \\<br /> \frac{1}{m} & 0 & 1-\frac{1}{m} & ... & 0 \\<br /> 0 & \frac{2}{m} & 0 & ... & 0 \\<br /> ... & ... & ... & & ...\\<br /> 0 & 0 & 0 & \frac{m}{m} & 0<br /> \end{pmatrix}<br /> $ \end{eqnarray*}$

13.11.2016, 10:54

Math1986

Auf diesen Beitrag antworten »

RE: Stationären Verteilung eines Markow-Prozesses
Prinzipiell ja, du kannst es durch ein paar Umformungen noch vereinfachen, wie $\begin{eqnarray*} 1-\frac 0m=1 \end{eqnarray*}$ , aber sonst ist das okay.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »