Umformung einer Verbundentropie

25.10.2011, 18:21

Dasiggo

Umformung einer Verbundentropie

Hallo,

kann sein das ich hier falsch bin, vielleicht handelt es sich um simple Regeln, deswegen entschuldige ich mich jetzt schon vorsichtshalber.

Gegeben ist die Formel:

$\begin{eqnarray*} -\sum\limits_{i=1}^m \sum\limits_{j=1}^n P(x_{i}) \cdot P(y_{j}|x_{i})\cdot log_{2}(P(x_{i}) \cdot P(y_{j}|x_{i})) \end{eqnarray*}$

Durch Umformungen soll daraus das entstehen:

$\begin{eqnarray*} -\sum\limits_{i=1}^m P(x_{i}) \cdot log_{2}(P(x_{i})) -\sum\limits_{i=1}^m \sum\limits_{j=1}^n P(x_{i}) \cdot P(y_{j}|x_{i})\cdot log_{2}(P(y_{j}|x_{i})) \end{eqnarray*}$

Das höchste was ich durch mein Umformungswissen erreiche ist:

$\begin{eqnarray*} -\sum\limits_{i=1}^m \sum\limits_{j=1}^n P(x_{i}) \cdot P(y_{j}|x_{i})\cdot(log_{2}P(x_{i}) + log_{2} P(y_{j}|x_{i}) ) \end{eqnarray*}$

$\begin{eqnarray*} -\sum\limits_{i=1}^m \sum\limits_{j=1}^n P(x_{i}) \cdot log_{2} P(x_{i})\cdot P(y_{j}|x_{i}) + P(x_{i}) \cdot P(y_{j}|x_{i})\cdot log_{2} P(y_{j}|x_{i}) ) \end{eqnarray*}$

Und ab hier bin ich verloren. Ich habe noch nie etwas mit Summen umgeformt. Durch meine Wikipedia recherche könnte ich vielleicht noch das machen:

$\begin{eqnarray*} -\sum\limits_{i=1}^m \sum\limits_{j=1}^n P(x_{i}) \cdot log_{2} P(x_{i})\cdot P(y_{j}|x_{i}) -\sum\limits_{i=1}^m \sum\limits_{j=1}^n P(x_{i}) \cdot P(y_{j}|x_{i})\cdot log_{2} P(y_{j}|x_{i}) ) \end{eqnarray*}$

aber dann sehe ich keine Möglichkeiten mehr.
Vielleicht hat es auch etwas mit der Informationstheorie zu tun. In dem Fall hoffe ich das einige Informatiker hier rum laufen und mir helfen können.

Gruß

ich

25.10.2011, 20:12

René Gruber

Auf diesen Beitrag antworten »

Es fehlt lediglich noch in der ersten Summe das Einsetzen der Eigenschaft

$\begin{eqnarray*} \sum_{j=1}^n P(y_j|x_i) = 1 \end{eqnarray*}$

was ja gelten muss, wenn $\begin{eqnarray*} Y \end{eqnarray*}$ nur die Werte $\begin{eqnarray*} y_1,y_2,\ldots,y_n \end{eqnarray*}$ annehmen kann.

26.10.2011, 07:45

Dasiggo

Auf diesen Beitrag antworten »

Zitat:

Original von René Gruber
Es fehlt lediglich noch in der ersten Summe das Einsetzen der Eigenschaft

$\begin{eqnarray*} \sum_{j=1}^n P(y_j|x_i) = 1 \end{eqnarray*}$

was ja gelten muss, wenn $\begin{eqnarray*} Y \end{eqnarray*}$ nur die Werte $\begin{eqnarray*} y_1,y_2,\ldots,y_n \end{eqnarray*}$ annehmen kann.

und was lediglich bedeutet, das aus der Summe aller Wahrscheinlichkeiten, das nach dem $\begin{eqnarray*} x_i \end{eqnarray*}$ ein $\begin{eqnarray*} y_j \end{eqnarray*}$ kommt, letztlich eine Wahrscheinlichkeit eintreffen muss.

Richtig?

26.10.2011, 09:17

René Gruber

Auf diesen Beitrag antworten »

Richtig: Die bedingte Verteilung $\begin{eqnarray*} P(\cdot \bigm| x_i) \end{eqnarray*}$ hat alle Eigenschaften einer "normalen" Wahrscheinlichkeit, d.h. die Summe der Wahrscheinlichkeitswerte über alle in Frage kommenden Werte muss gleich Eins sein. Nichts anderes wollte bereits ich in meinem letzten Beitrag sagen, aber Wiederholung (mit etwas ausschweifenderen Worten) hält besser. Augenzwinkern

26.10.2011, 11:21

Dasiggo

Auf diesen Beitrag antworten »

Danke dir René. Ich hoffe du kann mir auch bei der anderen Frage helfen.
Hierfür aber schon mal ein riesen Dankeschön. Freude

Neue Frage »

Antworten »

Umformung einer Verbundentropie

Verwandte Themen