Stochastischer Markov-Prozess

Neue Frage »

Leoniee Auf diesen Beitrag antworten »
Stochastischer Markov-Prozess
Guten Morgen smile ,

sei ein Zustandsraum mit der Übergangsmatrix




-Welcher Zustand ist rekurrent und transient?

Ich muss ja eigentlich nur die folgende Summe (Wikipedia) ausrechnen:
Wobei tau die Rückkehrzeit ist. Wenn diese Summe für den Zustand i gleich 1 ist, ist der Zustand rekurrent und für kleiner 1 transient.

Wie rechne ich diese Summe aber nun für das obige Beispiel konkret aus, könnte mir das mal bitte jemand exemplarisch zeigen, damit ich die anderen Aufgaben selbst machen kann.

- Eine Verständnis frage

Sei die Menge der Rückkehrzeiten.

Für i = 0 ergibt sich damit : oder
Bei der ersten Menge wird der Zustand 0 zwischendurch nicht passiert und bei der zweiten Menge wird er passiert. Welche Menge ist die richtige? Ich will im Anschluss die Periodizität der Zustände bestimmen.

MfG
Leonie
HAL 9000 Auf diesen Beitrag antworten »

Es gibt auch andere, schnellere Methoden, die Einordnung nach Rekurrenz und Transienz vorzunehmen:

In deiner Markovkette gibt es einen absorbierenden Zustand, in den alle vier anderen mit positiver Wahrscheinlichkeit (nach maximal vier Schritten) gelangen können - damit ist eigentlich alles geklärt.
Leoniee Auf diesen Beitrag antworten »

Zitat:
In deiner Markovkette gibt es einen absorbierenden Zustand, in den alle vier anderen mit positiver Wahrscheinlichkeit (nach maximal vier Schritten) gelangen können - damit ist eigentlich alles geklärt.


D.h., dass die Zustände 0,1,2,3 Transient sind. Wie ich das aber mathematisch zeigen, weiß nicht.


Könntest du bitte noch auf meine Verständnis frage eingehen.
HAL 9000 Auf diesen Beitrag antworten »

Zustände 0..3 sind miteinander verbunden, zeigen damit dasselbe Rekurrenzverhalten. (*)

Nun ist , aber nicht (wegen der Absorption in 4).

Du kannst für diese sehr einfache Kette hier natürlich auch die Rückkehrwahrscheinlichkeiten berechnen: Es ist

,

und damit , also transient.

Für ist es komplizierter, da gibt es ja verschiedenste Wege der erstmaligen Rückkehr - kann man aber mit etwas Geduld und Übersicht auch noch rechnerisch in den Griff kriegen. Die Frage ist, ob man das wirklich braucht, denn ich verweise nochmal auf (*).

Für haben wir ja sofort und damit , also rekurrent, wie immer im Fall absorbierender Zustände.

Zitat:
Original von Leoniee
Sei die Menge der Rückkehrzeiten.

Für i = 0 ergibt sich damit : oder
Bei der ersten Menge wird der Zustand 0 zwischendurch nicht passiert und bei der zweiten Menge wird er passiert. Welche Menge ist die richtige?

Denk einfach über den Unterschied nach zwischen erstmaliger Rückkehr (beschrieben durch ) und generell möglicher (also nicht unbedingt erstmaliger) Rückkehr nach, wie sie durch beschrieben wird.
Leoniee Auf diesen Beitrag antworten »

Du meinst mit verbunden, dass sie miteinander kommunizieren?

Mit deiner Aussage

Zitat:
Zustände 0..3 sind miteinander verbunden, zeigen damit dasselbe Rekurrenzverhalten


beziehst du dich auf einen Satz oder?


Für i=4 verstehe ich noch nicht, warum die Summe nicht divergiert, weil

für jedes n gleich 1 ist.


Das mit der Verständnisfrage hat sich erledigt, vielen Dank dafür.
HAL 9000 Auf diesen Beitrag antworten »

Ich habe deine Symbolik von oben verwendet, also als Wahrscheinlichkeit der erstmaligen (!!!) Rückkehr von nach nach genau Schritten, das ist was anderers als ! Forum Kloppe

Also nochmal, in dem Sinne ist aber auch für alle .
 
 
Leoniee Auf diesen Beitrag antworten »

Denkfehler, danke fürs klar stellen!


Meine Abschließende Frage smile

Zitat:
Zustände 0..3 sind miteinander verbunden, zeigen damit dasselbe Rekurrenzverhalten


Dann ist ja ziemlich praktisch! Es genügt also zu zeigen, dass 0 rekurrent ist und somit habe ich es, unter Verwendung der obigen Aussage, automatisch für alle anderen gezeigt (darauf hattest du ja schon zu beginn hingewiesen).

Handelt es sich hierbei um einen Satz ?
HAL 9000 Auf diesen Beitrag antworten »

Ja, aber ob der einen besonderen Namen hat, weiß ich nicht. Jedenfalls kann man über diese Eigenschaft des Kommunizierens die Zustände der Markov-Kette in Klassen einteilen, und Zustände derselben Klasse zeigen dasselbe Rekurrenzverhalten. Z.B. bilden für



die Zustände eine und eine andere Klasse solcher kommunizierender Zustände. Die erste Klasse ist transient, die zweite rekurrent. Diese zweite Klasse enthält zwar im Sinne der Definition keine absorbierenden Einzelzustände, aber die Klasse als solche ist absorbierend (d.h. ist man einmal drin, kommt man nicht mehr aus der Klasse heraus).
Neue Frage »
Antworten »



Verwandte Themen

Die Beliebtesten »
Die Größten »
Die Neuesten »