Wahrscheinlichkeiten von Stoppzeiten in Markovketten - Wo finde ich passende Theorie?

26.09.2018, 23:44

Pacer

Wahrscheinlichkeiten von Stoppzeiten in Markovketten - Wo finde ich passende Theorie?

thema markovketten:
Beispiel einfache Irrfahrt auf Graphen.
Zustandsraum S=|4|.
Übergangsmatrix
$\begin{eqnarray*} P= \begin{pmatrix} 0 & 1/3&1/3 &1/3 \\<br /> 1/3 & 0 & 1/3 & 1/3\\<br /> 1/3 & 1/3 & 0 &1/3 \\<br /> 1/3 & 1/3 & 1/3 & 0 \end{pmatrix} \end{eqnarray*}$
also alle knoten sind verbunden und jede übergangswahrscheinlichkeit ist 1/3 nur schleifen sind nicht erlaubt.
$\begin{eqnarray*} X_0=1 \end{eqnarray*}$
Jetzt zur Frage:
gesucht ist das n, sodass $\begin{eqnarray*} P(X_i=4) \geq 0.99 \end{eqnarray*}$ ist mit i zwischen 1 und n,
also umgangssprachlich (ich hoffe ich habs mathematisch richtig formuliert) die Markovkette war im Zeitpunkt n mindestens einmal im Zustand 4 zu 99 prozentiger wahrscheinlichkeit.
Man könnte vllt auch sagen, wenn $\begin{eqnarray*} T_i \end{eqnarray*}$ die Stoppzeit des ersten Eintreffens in i ist, dann suche ich nach n sodass $\begin{eqnarray*} P(T_4<=n) \geq 0.99 \end{eqnarray*}$

In unserem Stochastikscript habe ich leider nichts passendes gefunden, dort ging es nur um den Erwartungswert von $\begin{eqnarray*} T_i \end{eqnarray*}$ . Ich würde mich auch über einen Tipp freuen, (wenn's dazu schon etwas mehr Theorie gibt) wo ich mich einlesen müsste, denn ich würde das Problem letztendlich gerne für größere Graphen betrachten.

27.09.2018, 00:30

Pacer

Auf diesen Beitrag antworten »

RE: Wahrscheinlichkeiten von Stoppzeiten in Markovketten - Wo finde ich passende Theorie?
Per Hand ausgerechnet erhalte ich 4, da muss aber leider ein Denkfehler sein.
Mein Rechnungsweg: $\begin{eqnarray*} P(X_i=1)=P(X_{i-1}=4)\\P(X_i=2)=P(X_i=3)=P(X_i=4)=2*1/3*P(X_{i-1}=4)+P(x_{i-1}=1)*1/3 \end{eqnarray*}$
Somit gilt $\begin{eqnarray*} P(X_1=4)=1/3,P(X_2=4)=2/9, P(X_3=4)=7/27,P(X_4=4)=20/81\\1/3+2/9+7/27+20/81=86/81 \end{eqnarray*}$ , aber die Wahrscheinlichkeit dürfte nicht über 100 % steigen.

Letztendlich suche ich Theorie in der Richtung und gar nicht so sehr nach einer Lösung dieses Problems. Leider werde ich durch googlen nicht schlauer.

27.09.2018, 08:29

Huggy

Auf diesen Beitrag antworten »

RE: Wahrscheinlichkeiten von Stoppzeiten in Markovketten - Wo finde ich passende Theorie?
Für diese Aufgabe brauchst du keine Theorie. Das kannst du simpel mit der Gegenwahrscheinlichkeit rechnen. Wenn man sich nicht auf $\begin{eqnarray*} P_4 \end{eqnarray*}$ befindet, ist man im nächsten Zug mit Wahrscheinlichkeit $\begin{eqnarray*} 2/3 \end{eqnarray*}$ wieder nicht auf $\begin{eqnarray*} P_4 \end{eqnarray*}$ .

27.09.2018, 10:40

HAL 9000

Auf diesen Beitrag antworten »

Zur Berechnung (vor allem wie man sie einfacher bewerkstelligt) hat Huggy das Nötige gesagt.

Ich will nur noch auf einen Fehler in der Symbolik hinweisen:

$\begin{eqnarray*} P(X_i=4) \end{eqnarray*}$ kennzeichnet die Wahrscheinlichkeit, dass man zum Zeitpunkt $\begin{eqnarray*} i \end{eqnarray*}$ im Zustand 4 ist. Wenn du hingegen auf die Wahrscheinlichkeit von

Zitat:

Original von Pacer (korrigiert)
die Markovkette war bis zum Zeitpunkt n mindestens einmal im Zustand 4

aus bist, dann ist das $\begin{eqnarray*} P\left(\exists i\in\{1,\ldots,n\}:\; X_i=4\right)=:p_n \end{eqnarray*}$ . Alternativ kann man auch über das Gegenereignis gehen, damit ist $\begin{eqnarray*} p_n=1-P\left(\forall i\in\{1,\ldots,n\}:\; X_i\in\{1,2,3\}\right) \end{eqnarray*}$ , d.h., man bestimmt die Komplementärwahrscheinlichkeit davon, dass sich die Markovkette bis Zeitpunkt $\begin{eqnarray*} n \end{eqnarray*}$ nur in den Zuständen 1,2 oder 3 bewegt.

Neue Frage »

Antworten »

Wahrscheinlichkeiten von Stoppzeiten in Markovketten - Wo finde ich passende Theorie?

Verwandte Themen