Hidden Markov Models

28.11.2012, 21:53

Justus

Hidden Markov Models

Hallo.

Ich versuche gerade mich selbst in die Hidden Markov Models einzulesen. Als Text
habe ich dieses PDF im Internet gefunden:
www.cs.sjsu.edu/~stamp/RUA/HMM.pdf

Leider versteh ich den im Bild markierten Abschnitt nicht.
[attach]26942[/attach]

Warum ergibt die observation matrix P(O|X,Lamda)

Ich hab jetzt schon ein paar Anläufe gemacht Hidden Markov Models zu verstehen, aber
leider bin ich nie richtig weit gekommen. Ich wäre für eine Hilfestellung sehr dankbar.

Grüße

28.11.2012, 22:25

Math1986

Auf diesen Beitrag antworten »

RE: Hidden Markov Models
Das ist eine bedingte Wahrscheinlichkeit, also die Wahrscheinlichkeit dafür, O zu beobachten wenn lambda und X gegeben sind. Nach Definition hängt die Beobachtung dabei nur vom aktuellen versteckten Zustand ab, so dass sich die Gesamtwahrscheinlichkeit als Produkt über die einzelwahrscheinlichkeiten ergibt.

29.11.2012, 08:59

Justus

Auf diesen Beitrag antworten »

RE: Hidden Markov Models
Und warum gehen dann nur die Wahrscheinlichkeiten von O in die Rechnung ein, wenn sie doch von X und Lamda abhängt ?

29.11.2012, 09:09

Math1986

Auf diesen Beitrag antworten »

RE: Hidden Markov Models
Was meinst du mit "nur die Wahrscheinlichkeitenn für O"? Welche Wahrscheinlichkeiten sollten da noch eingehen? verwirrt

O ist die Folge deiner Beobachtungen, X die Folge deiner versteckten Zustände und Lambda ist das HMM selbst. Beides geht in die Berechnung ein.

12.12.2012, 12:19

Justus

Auf diesen Beitrag antworten »

Vorab ein kleines Beispiel.

Eine Urne enthält 100 Kugeln. 70 Kugeln bestehen aus Holz und 30 sind aus Kunststoff.
25 der Holzkugeln sind rot und 45 sind grün. 10 der Kunststoffkugeln sind rot und 20 sind grün.

$\begin{eqnarray*} P(A) = Holz \end{eqnarray*}$
$\begin{eqnarray*} P(\overline{A}) = Kunststoff \end{eqnarray*}$
$\begin{eqnarray*} P(B) = rot \end{eqnarray*}$
$\begin{eqnarray*} P(\overline{B}) = gruen \end{eqnarray*}$

Jemand zieht eine Kugel und spürt mit der Hand, dass es sich um eine Kunststoffkugel handelt. Wie groß ist nun die Wahrscheinlichkeit dafür, dass die Kugel in seiner Hand grün ist?

$\begin{eqnarray*} P(\overline{B}) = \frac{P(\overline{A} \cap \overline{B})}{P(\overline{A})} \end{eqnarray*}$

Hier ist Ergebnis der bedingten Wahrscheinlichkeit ganz klar.

Im Abschnitt 4.1 ist nun nach der Wahrscheinlichkeit von Beobachtungssequenz $\begin{eqnarray*} P(O | \lambda) \end{eqnarray*}$ gefragt bei Verwendung des HMM Modells $\begin{eqnarray*} \lambda = (A, B, \pi ) \end{eqnarray*}$

Nun steht hier nach der Definition von B entspricht
$\begin{eqnarray*} P(O | X, \lambda) = b_{x0}(O_o)* b_ {x1}(O_o) *\cdots* b_{xT-1}(O_{T-1}) \end{eqnarray*}$

Was sich auch wie folgt ausdrücken lässt
$\begin{eqnarray*} P(O | X, \lambda) = \frac{P(O \cap X \cap \lambda)}{P(X \cap \lambda)} \end{eqnarray*}$

Was ich jetzt nicht verstehe ist, warum X und $\begin{eqnarray*} \lambda \end{eqnarray*}$ in die Gleichung mit eingehen, obwohl sie nicht zur gleichen Grundmenge von B gehören. Rein von der Überlegung her für die HMM leuchtet mir das ein, aber das kann ich nicht mit dem oben angeführten Beispiel in Einklang bringen. Dort bilden sich alle Wahrscheinlichkeiten aus der gleichen Grundmenge.

13.12.2012, 22:04

Math1986

Auf diesen Beitrag antworten »

Zitat:

Original von Justus
Nun steht hier nach der Definition von B entspricht
$\begin{eqnarray*} P(O | X, \lambda) = b_{x0}(O_o)* b_ {x1}(O_o) *\cdots* b_{xT-1}(O_{T-1}) \end{eqnarray*}$

Was sich auch wie folgt ausdrücken lässt
$\begin{eqnarray*} P(O | X, \lambda) = \frac{P(O \cap X \cap \lambda)}{P(X \cap \lambda)} \end{eqnarray*}$

Was ich jetzt nicht verstehe ist, warum X und $\begin{eqnarray*} \lambda \end{eqnarray*}$ in die Gleichung mit eingehen, obwohl sie nicht zur gleichen Grundmenge von B gehören. Rein von der Überlegung her für die HMM leuchtet mir das ein, aber das kann ich nicht mit dem oben angeführten Beispiel in Einklang bringen. Dort bilden sich alle Wahrscheinlichkeiten aus der gleichen Grundmenge.

Zu ersterem: Es kann ganz einfach interpretiert werden als die Wahrscheinlichkeit für die Beobachtungssequenz $\begin{eqnarray*} \mathcal O \end{eqnarray*}$ unter dem gegebenen HMM $\begin{eqnarray*} \lambda \end{eqnarray*}$ und der versteckten Zustände $\begin{eqnarray*} X \end{eqnarray*}$ .

Die Zustände sind also gegeben und die Wahrscheinlichkeit der Beobachtungen gesucht. Da die Beobachtungen nur vom aktiellen Zustand abhängig ist (und diese bekannt sind) ergibt sich diese Formel.

19.12.2012, 21:08

Justus

Auf diesen Beitrag antworten »

Ok, das habe ich soweit verstanden. Wenn man die Werte aus dem Beispiel im PDF einsetzt wird es noch etwas klarer.

$\begin{eqnarray*} P(O | X,\lambda) = b_{x_0}(O_0)b_{x_1}(O_1)b_{x_2}(O_2)b_{x_3}(O_3) \end{eqnarray*}$
$\begin{eqnarray*} P(O | X,\lambda) = b_{H}(S)b_{H}(M)b_{C}(S)b_{C}(L) \end{eqnarray*}$

$\begin{eqnarray*} P(X|\lambda) = \pi_{x_0}a_{x_0,x_1}a_{x_1,x_2}a_{x_2,x_3} \end{eqnarray*}$
$\begin{eqnarray*} P(X|\lambda) = \pi_{H}a_{H,H}a_{H,C}a_{C,C} \end{eqnarray*}$

Verstecke Zustände
H = hot
C = cold

Sichtbare Zustände
S = small
M= medium
L = large

Ich habe aber noch eine Frage bei der Summenbildung aller möglichen Zustandssequenzen
$\begin{eqnarray*} P(O|\lambda) = \sum\limits_{X} P(O,X|\lambda) \end{eqnarray*}$
Warum fällt das X weg bei Summenbildung? Wenn z.B. $\begin{eqnarray*} X = (x_0,x_1,x_2,x_3)=(H,H,C,C) \end{eqnarray*}$

20.12.2012, 11:11

Math1986

Auf diesen Beitrag antworten »

Zitat:

Original von Justus
Ich habe aber noch eine Frage bei der Summenbildung aller möglichen Zustandssequenzen
$\begin{eqnarray*} P(O|\lambda) = \sum\limits_{X} P(O,X|\lambda) \end{eqnarray*}$
Warum fällt das X weg bei Summenbildung? Wenn z.B. $\begin{eqnarray*} X = (x_0,x_1,x_2,x_3)=(H,H,C,C) \end{eqnarray*}$

Die frage verstehe ich nicht. Die Folge X geht doch direkt in die Übergangswahrscheinlichkeiten ein. Poste mal deine Formel.

Neue Frage »

Antworten »

Hidden Markov Models

Verwandte Themen