Homogene Markovkette

24.04.2006, 15:21

Jim Pansen

Homogene Markovkette

Habe eine Verständnisfrage zum asymptotischen Vehalten der n-Schritt Übergangswahrscheinlichkeit $\begin{eqnarray*} p^{(n)}(x,y) \end{eqnarray*}$ einer homogenen Markovkette. verwirrt

Leider fehlt mir die Mitschrift zum Beweis des folgenden Satzes:
Sei $\begin{eqnarray*} \{ X_{n} \} ,n\in \mathbb N , \end{eqnarray*}$ eine homogene (d.h. die Übergangswahscheinlichkeiten sind unabhängig vom Zeitpunkt n) Markovkette mit abzählbarem, irreduziblem (d.h. die Erreichbarkeit zwischen den Zuständen hat positive Wahrscheinlichkeit), aperiodischen (d.h. $\begin{eqnarray*} ggT\{ n\geq1: p^{(n)}(x,y)>0 \}=1 \end{eqnarray*}$ ) Zustandsraum X. Ist $\begin{eqnarray*} \pi \end{eqnarray*}$ stationäre Verteilung der Markovkette so folgt:

$\begin{eqnarray*} \lim_{n \to \infty }p^{(n)}(x,y)= \pi (y) \forall x,y\in X \end{eqnarray*}$

Ist der Satz so zu verstehen, dass im Falle der Existenz einer stationären Verteilung Konvergenz gilt, oder dass immer eine stationäre Verteilung existiert?
Bei letzterem habe ich mir folgendes überlegt:
Die Existenz einer stationären Verteilung ist hier äquivalent dazu, dass alle (oder äquivalent ein Zustand) Zustände positiv rekurrent sind (d.h. die erwartete Rückkehrzeit zu einem Zustand ist endlich).
Da der Zustandsraum X irreduzibel und aperiodisch ist, folgt die Rekurrenz von X. Folgt dann auch schon pos. Rekurrenz? Kennt sich jemand damit aus? Wink

29.04.2006, 16:56

Jim Pansen

Auf diesen Beitrag antworten »

RE: Homogene Markovkette
Falls es noch jemanden interessieren sollte (bei 30 Klicks bin ich mir nicht so sicher Augenzwinkern

Der Satz ist so zu verstehen, dass im Falle der Existenz einer stationären Verteilung Konvergenz gilt.

Eine stationäre Verteilung existiert immer, wenn der Zustandsraum endlich ist (unter den geg. Voraussetzungen des Satzes).

Falls keine stationäre Verteilung existiert, müsste die n-Schritt Übergangswahrscheinlichkeit gegen 0 konvergieren (glaube ich).

der Pansen...

und ab ins WE Prost

29.04.2006, 19:58

Auf diesen Beitrag antworten »

Zitat:

Original von Jim Pansen
Ist der Satz so zu verstehen, dass im Falle der Existenz einer stationären Verteilung Konvergenz gilt, oder dass immer eine stationäre Verteilung existiert?

Letzteres, zumindest bei den Voraussetzungen des Satzes. Und dass für diese Verteilung dann auch die angeführte Konvergenz gilt.

Was ersteres betrifft, ein Gegenbeispiel: Die homogene Markovkette mit der Ü-Matrix $\begin{eqnarray*} A=\begin{pmatrix} 0 & 1\\ 1 & 0\end{pmatrix} \end{eqnarray*}$ verletzt die Voraussetzungen des Satzes (sie ist nicht aperiodisch), trotzdem existiert eine stationäre Verteilung $\begin{eqnarray*} \pi = \begin{pmatrix} \frac{1}{2}\\[1ex] \frac{1}{2}\end{pmatrix} \end{eqnarray*}$ . Für diese MK und dieses Verteilung gilt allerdings nicht

$\begin{eqnarray*} \lim_{n \to \infty }p^{(n)}(x,y)= \pi (y) \forall x,y\in X \end{eqnarray*}$

wovon man sich leicht überzeugen kann - diese Grenzwerte existieren hier nämlich überhaupt nicht.

30.04.2006, 12:09

Jim Pansen

Auf diesen Beitrag antworten »

Zitat:

Original von Arthur Dent

Zitat:

Original von Jim Pansen
Ist der Satz so zu verstehen, dass im Falle der Existenz einer stationären Verteilung Konvergenz gilt, oder dass immer eine stationäre Verteilung existiert?

Letzteres, zumindest bei den Voraussetzungen des Satzes. Und dass für diese Verteilung dann auch die angeführte Konvergenz gilt.

OK, hab die Frage wohl etwas missverständlich gestellt. Ich meinte, ob immer eine stationäre Verteilung unter den Voraussetzungen des Satzes, also homogene Markovkette mit abzählbarem, irreduziblem, aperiodischen Zustandsraum, existiert (und dann Konvergenz gilt)? Also auch bei abzählbarem, nicht endlichen Zustandsraum? Oder meinst Du das genau? Das ist mir nämlich nicht klar. verwirrt

30.04.2006, 13:10

Auf diesen Beitrag antworten »

Zitat:

Original von Jim Pansen
Da der Zustandsraum X irreduzibel und aperiodisch ist, folgt die Rekurrenz von X. Folgt dann auch schon pos. Rekurrenz?

Nein, für abzählbare Zustandsräume folgt die nicht. Du kannst z.B. für Zustandsraum $\begin{eqnarray*} \mathbb{N} \end{eqnarray*}$ leicht eine aperiodische irreduzible Markovkette mit sämtlich nullrekurrenten Zuständen konstruieren, sowas in der Art $\begin{eqnarray*} p(n,n+1)=1-\varepsilon_n \end{eqnarray*}$ mit $\begin{eqnarray*} \varepsilon_n\searrow 0 \end{eqnarray*}$ für $\begin{eqnarray*} n\to\infty \end{eqnarray*}$ . Salopp gesagt, läuft die Kette dann in Richtung $\begin{eqnarray*} +\infty \end{eqnarray*}$ fort, es stellt sich keine stationäre Zustandsverteilung ein.

30.04.2006, 14:21

Jim Pansen

Auf diesen Beitrag antworten »

Jo, danke. Auf so ein gutes Beispiel komme ich einfach nie.

Neue Frage »

Antworten »

Homogene Markovkette

Verwandte Themen