Entropie

29.06.2005, 04:19	naoukiko	Auf diesen Beitrag antworten »
Entropie Hi, ich muss die aufgabe bis Donnertag lösen kann mir jemand bitte helfen ich habe wieder keine Ahnung. Seien S ={s1,....,sn}ein Alphabet und X, Y Zufallsvariable in S mit P (Y =sj) > 0 für j = 1,...., n. Dann sind durch H(X\|{Y = sj}) =Summe von i=1 bis n von P ({X = si}\|{Y= sj}) log2 1/ P({X= si}\|{Y = sj}) die bedingte Entropie von X gegeben {Y = sj} und durch H(X \|Y) =Summe von j=1 bis n von P ({Y = sj})H(X \|{Y = sj}) die bedingte Entropie von X gegeben Y definiert. Zeigen Sie, dass H( X\|Y) = H((X, Y)) - H(Y) gilt.
29.06.2005, 18:40	Leopold	Auf diesen Beitrag antworten »
Setze zur Abkürzung $\begin{eqnarray} q_j = P(Y=s_j) \, , \ \ p_{ij} = P(X=s_i \, , \, Y=s_j) \end{eqnarray}$ Dann gelten $\begin{eqnarray} \text{(1)} \ \ P(X=s_i \, \| \, Y=s_j) = \frac{p_{ij}}{q_j} \end{eqnarray}$ $\begin{eqnarray} \text{(2)} \ \ \sum_{i}^{}~p_{ij} = q_j \end{eqnarray}$ Hier und im Folgenden durchlaufen die Indizes $\begin{eqnarray} i,j \end{eqnarray}$ alle Werte von $\begin{eqnarray} 1 \end{eqnarray}$ bis $\begin{eqnarray} n \end{eqnarray}$ . Dann folgt wegen $\begin{eqnarray} \text{(1)} \end{eqnarray}$ gemäß deiner Definition $\begin{eqnarray} H(X\|Y) \ = \ - \sum_{j}^{}~q_j \sum_{i}^{}~\frac{p_{ij}}{q_j} \log_2{\frac{p_{ij}}{q_j}} \ = \ - \sum_{i,j}^{}~p_{ij} \left( \log_2{p_{ij}} - \log_2{q_j} \right) \end{eqnarray}$ Und jetzt multipliziere aus und ziehe die Summe auseinander. Dann bekommst du vorne $\begin{eqnarray} H(X,Y) \end{eqnarray}$ und hinten unter Beachtung von $\begin{eqnarray} \text{(2)} \end{eqnarray}$ schließlich $\begin{eqnarray} H(Y) \end{eqnarray}$ .

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »