Covarianzmatrix bei regulären Markov-Ketten

28.08.2025, 09:05

Kognitivist

Covarianzmatrix bei regulären Markov-Ketten

Meine Frage:
Zu Kemeny & Snell, S. 89

Es geht um die Covarianzen der einzelnen Zustände in einer regulären Markov-Kette. Kemeny & Snell bringen auf S. 89 ein Rechenbeispiel, das ich nicht nachvollziehen kann. Daher möchte ich fragen, wie das gerechnet wurde.

Der a-Vektor der einzelnen Zustandswahrscheinlichkeiten (die "Endzustandswahrscheinlichkeiten" bei unendlich langem Fortlauf der Transitions-Matrix $\begin{eqnarray*} \lim_{n \to \infty } P^{n} \end{eqnarray*}$ ist: $\begin{eqnarray*} \alpha = \left(\frac{2}{5} , \frac{1}{5} , \frac{2}{5} \right) \end{eqnarray*}$ .

Die fundamentale Matrix Z ist: $\begin{eqnarray*} Z = \frac{1}{75} \begin{pmatrix} 86 & 3 & -14 \\ 6 & 63 & 6 \\ -14 & 3 & 86 \end{pmatrix} \end{eqnarray*}$ .

Ich glaube ich muss Euch das nicht näher erklären, aber die "fundamentale Matrix" ist die Inverse aus (I - P + A).

Aus diesen beiden Angaben errechnet sich die Covarianzmatrix (genauer gesagt der Grenzwert der Covarianzen) $\begin{eqnarray*} C = \left\{ c_{ij} \right\} \end{eqnarray*}$ wie folgt:
$\begin{eqnarray*} C = \frac{1}{375} \begin{pmatrix} 134 & -18 & -116 \\ -18 & 36 & -18 \\ -116 & -18 & 134 \end{pmatrix} \end{eqnarray*}$

Ich kann den Rechenweg nicht nachvollziehen, und es wird im Buch nicht wirklich gut erklärt.

Meine Ideen:
Da eine 3 x 3 Matrix resultiert, müssen offenbar zwei Matrizen mit je 3 Spalten multipliziert werden. Ich vermute die Matrizen A (mit dem $\begin{eqnarray*} \alpha \end{eqnarray*}$ -Vektor in allen Zeilen mit der Matrix Z, wobei irgendwas abzuziehen ist, sonst kämen wir ja nicht z.T. auf negative Werte in den meisten Zellen der C-Matrix.
Also $\begin{eqnarray*} \begin{pmatrix} 2/5 & 1/5 & 2/5 \\ 2/5 & 1/5 & 2/5 \\ 2/5 & 1/5 & 2/5 \end{pmatrix} \times \frac{1}{75} \begin{pmatrix} 86 & 3 & -14 \\ 6 & 63 & 6 \\ -14 & 3 & 86 \end{pmatrix} \end{eqnarray*}$ .

Darauf komme ich wegen des Nenners des Bruches, der der Lösung, Matrix C, vorangestellt wird, $\begin{eqnarray*} \frac{1}{375} = \frac{1}{5} \times \frac{1}{75} \end{eqnarray*}$ .

Kemeny & Snell geben eine Formel für "independent trial processes" an, die helfen könnte und die lautet: $\begin{eqnarray*} c_{ij} = a_{i} d_{ij} - a_{i} a_{j} \end{eqnarray*}$ . Aber was ist dabei $\begin{eqnarray*} d_{ij} \end{eqnarray*}$ ? Irgendeine Diagonalmatrix, aber welche? Aus Z?

auf die 134 (Zeile 1 Spalte 1) der C-Matrix käme ich tatsächlich über Zeile x Spalte minus 2/5, also $\begin{eqnarray*} (\frac{2}{5} \times \frac{86}{75}) + (\frac{1}{5} \times \frac{6}{75}) + (\frac{2}{5} \times \frac{-14}{75}) - \frac{2}{5} \end{eqnarray*}$ , aber das entspricht nur bedingt der o.a. Formel, und $\begin{eqnarray*} d_{ij} = Z \end{eqnarray*}$ ?
Auch komme ich damit nicht zu den Ergebnissen in den anderen Zellen von C.

Wer kann helfen? Wie muss ich rechnen?

29.08.2025, 06:06

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Kognitivist
Ich glaube ich muss Euch das nicht näher erklären, aber die "fundamentale Matrix" ist die Inverse aus (I - P + A).

Nein, erkläre ruhig genauer. Ich hab zwar vor Jahrzehnten einiges über Markov-Ketten gehört, aber was eine "fundamentale Matrix" da ist kann ich mich nicht erinnern (ist wohl verschüttet gegangen). Unklar ist vor allem, was $\begin{eqnarray*} A \end{eqnarray*}$ jetzt hier sein soll.

29.08.2025, 12:13

Kognitivist

Auf diesen Beitrag antworten »

Gerne, ich arbeite mit diesem Kemeny & Snell, "Finite Markov Chains", 1960/1976), Springer, ein englischsprachiger Klassiker und eigentlich "einfach", eigentlich...aber.

Die nennen das "fundamental matrix", Abkürzung Z, ich weiß nicht ob es in Deutsch einen anderen Terminus dafür gibt. Es ist $\begin{eqnarray*} Z = (I - (P - A))^{-1} \end{eqnarray*}$ .

A ist bei einer regulären Matrix die Matrix, deren Zeilen die "Endwahrscheinlichkeiten" sind, also die Zustands-Wahrscheinlichkeiten für jeden Anfangs-Zustand, wenn die Transitions-Matrix P (die Übergangswahrscheinlichkeiten zwischen den einzelnen Zuständen) unendlich oft potenziert wird. Also $\begin{eqnarray*} (P)^{n} \end{eqnarray*}$ .

Die Matrix A ist ganz einfach eine Matrix in der jede Zeile diese "Zustandswahrscheinlichkeiten" $\begin{eqnarray*} a_{i} \end{eqnarray*}$ wiederholt, die Spalten sind die einzelnen Zustände, also bei 3 Zuständen 3 Spalten, und wir hätten bei 3 Zuständen eine 3x3 Matrix A.

Sehr bekannt ist immer das "Wetter" im Lande Oz. Es gibt regnerische Tage (R), nette Tage (N) und Schneetage (S).
Wenn es heute regnet, regnet es morgen zu 50%, zu 25& wird es ein netter Tag und zu 25% schneit es morgen. Wenn es heute nett ist, regnet es morgen mit 50% Wahrscheinlichkeit, es wird morgen nicht wieder nett (p22 = 0), und es schneit morgen zu 50%. Wenn es heute schneit, regnet es morgen zu 25%, mit 25% Wahrscheinlichkeit wird es morgen nett und mit 50% schneit es auch morgen wieder. Die Transitionsmatrix P lautet also: $\begin{eqnarray*} \begin{pmatrix} .5 & .25 & .25 \\ .5 & 0 & .5 \\ .25 & .25 & .5 \end{pmatrix} \end{eqnarray*}$ .

I ist die Einheitsmatrix, das neutrale Element für Multiplikationen, für 3x3 also $\begin{eqnarray*} \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} \end{eqnarray*}$ .

Wenn ich $\begin{eqnarray*} P^{n} \end{eqnarray*}$ für hinreichend große n rechne, komme ich auf die Zustandswahrscheinlichkeiten von Regen-, schönen- und Schneetagen "on the long run", also über lange Zeiträume. Ich kann aber auch die
$\begin{eqnarray*} a_{i} \end{eqnarray*}$ direkt ausrechnen.
Im obigen Oz-Beispiel gilt z.B. für Zustand a1 (Regentag): $\begin{eqnarray*} a_{1} = \frac{1}{2} a_{1} + \frac{1}{2} a_{2} + \frac{1}{4} a_{3} \end{eqnarray*}$
und so weiter. Ich habe drei Unbekannte und vier Gleichungen, da zusätzlich ja gilt: $\begin{eqnarray*} a_{1} + a_{2} + a_{3} = 1 \end{eqnarray*}$ .
Die eindeutige Lösung für den Vektor ai lautet: $\begin{eqnarray*} \left\{ a_{1}, a_{2}, a_{3} \right\} = \left\{ \frac{2}{5}, \frac{1}{5}, \frac{2}{5} \right\} \end{eqnarray*}$ . Also langfristig sind 40% Regentage, 20% schön und 40% Schneetage.

Die Matrix A wäre einfach also $\begin{eqnarray*} \begin{pmatrix} .4 & .2 & .4 \\ .4 & .2 & .4 \\ .4 & .2 & .4 \end{pmatrix} \end{eqnarray*}$ .

Die "Fundamental Matrix" ist nun wie gesagt die Inverse der Matrix (I - P + A). Ich nutze für die Inversen-Berechnung immer ein Computerprogramm auf google (reshish oder so ähnlich). Die Matrix Z wird gebraucht um weitere wichtige Matrizen zu berechnen, z.B. M, die mir die Mittelwerte angibt, in der einzelne Zustände durchlaufen werden, und M2, die mir die Varianzen der Mittelwerte angbit, in der einzelne Zustände durchlaufen werden.

Aber das weiß ich ja alles. Nicht verstehen tu ich wie man aus A bzw. dem Vektor a und der Matrix Z angeblich "ganz einfach" ("This is all the information we need to compute the matrix C" ....) die Covarianz-Matrix C berechnen soll, die die Covarianzen der einzelnen Zustände miteinander anzeigt.

Übrigens sind meine in der Ausgangsfrage angeführten Zahlenbeispiele für Z und für C aus demselben Beispiel
(das Wetter im Lande Oz, Regen, Schön, Schnee) übernommen, Du hättest also alle Informationen die Du zum Rechnen bräuchtest.

Ich komme jedenfalls nicht auf die Werte von C und finde das auch nicht "sehr einfach". Bitte Hilfe.

29.08.2025, 12:34

Kognitivist

Auf diesen Beitrag antworten »

Vielleicht sollte ich noch was zu dem in meiner Ausgangsfrage auftauchenden Term $\begin{eqnarray*} d_{ij} \end{eqnarray*}$ sagen. Überlicherweise nutzen die Buchautoren $\begin{eqnarray*} d_{ii} \end{eqnarray*}$ , um die Diagonalelement der Matrix aus $\begin{eqnarray*} \frac{1}{a_{i} } \end{eqnarray*}$ zu bezeichnen, also die Kehrwerte der einzelnen Werte in der A - Matrix.

Das bringt mich jetzt auf die Idee, doch noch mal die Formel $\begin{eqnarray*} c_{ij} = a_{i} d_{ij} - a_{i} a_{j} \end{eqnarray*}$ zu probieren.

Aber was ist z.B. dann $\begin{eqnarray*} d_{12} \end{eqnarray*}$ ? $\begin{eqnarray*} \frac{1}{\frac{2}{5} \times \frac{1}{5} } \end{eqnarray*}$ ?

Aber dann bräuchte ich ja Z gar nicht für die Berechnung von C?

29.08.2025, 12:40

Kognitivist

Auf diesen Beitrag antworten »

Ne, bringt nix, komme nicht auf die Werte.

Wie gesagt, möglicherweise ist das auch mein Problem hier:

Ich weiß nicht, was mit diesem $\begin{eqnarray*} d_{ij} \end{eqnarray*}$ gemeint ist, wie gesagt, normalerweise die Diagonale der Matrix aus den Kehrwerten von $\begin{eqnarray*} a_{i} \end{eqnarray*}$ der Matrix A.

Ich hatte die Hoffnung, dass jemand hier im Forum die Berechnungsformel für C kennt oder aber aus den Zahlen den Zusammenhang "sieht", der mir irgendwie versperrt ist.....

29.08.2025, 13:28

Kognitivist

Auf diesen Beitrag antworten »

Noch ein Hinweis, der vielleicht weiter hilft...

die gesuchte C-Matrix ist symmetrisch, d.h. identlisch ober- und unterhalb der Diagonal-Element (der Diagonalen).
Und sowohl die Zeilensummen als auch die Spaltensummen der Matrix C ergebn 0.

Aber wie komme ich auf die einzelnen Werte?

30.08.2025, 18:44

Kognitivist

Auf diesen Beitrag antworten »

Okay, ich glaub ich habs selber gelöst.

Die Formel fand ich jetzt im Text weiter vorne, S. 85, sie lautet für die Zellen der Covarianzmatrix cij = ai zij + aj zji - ai dij - ai aj

Die i und j sind als kleine Indizes zu denken, ich sitze grad an einem fremden Rechner mit anderer Tastatur und kann den Formeleditor nicht so einfach bedienen.
)
dij - und das war mein Knackpunkt - ist ganz einfach das Zeilenlement einer Einheitsmatrix I, also 1 für die Diagonalelemente und 0 für alle anderen.

Ich rechne dann mal kurz drei Beispiele vor:

(2/5)(86/75) + (2/5)(86/75) - (2/5) (1) - (2/5)(2/5) = ((344-150-60)/375) = (134/375), das gesuchte c11 Element der Covarianzmatrix.

c12 wäre (2/5)(3/75) + (1/5)(6/75) - (2/5)(0) - (1/5)(2/5) = ((12-30)375) = (-18/375), wie gewünscht das gesuchte c12 Element der C-Matrix.

c13 wäre (2/5)(-14/75) + (2/5)(-14/75) - (2/5)(0) - (2/5)(2/5) = ((-56-60)/375) = (-116/375), das gesuchte Element 1. Zeile 3. Spalte der C-Matrix.

Und so weiter. "Tricky" ist dass dij nix anderes ist als eine Einheitsmatrix I, das hätten die Autoren ruhig mal schreiben können.....

Damit ist das Problem gelöst, weitere Hilfe hier zumindest nicht nötig.

Neue Frage »

Antworten »

Covarianzmatrix bei regulären Markov-Ketten

Verwandte Themen