(bedingte) Entropie

18.07.2006, 16:08

MCStudent

(bedingte) Entropie

Komme mit diesem thema überhaupt nicht klar.

Ich habe hier 3 aufgabe die damit zu tun haben, aber ich verstehe nicht so wirklich was man da machen muss.

Aufgabe 1:
Gegeben sei unabhängige Informationsquelle S mit n QUellensymbolen a_i und den wahrscheinluchkeiten p_i. Beweisen sie für die entropie H:
H(S^2)=2*H(S)

Ich weis das
H(S):= $\begin{eqnarray*} -\sum_{}~(p(S)*log(p(S))) \end{eqnarray*}$

also folgt doch
H(S^2) = $\begin{eqnarray*} -\sum_{}~(p(S)^2 * log(p(S)^2)) \end{eqnarray*}$
Nun kann ich die zwei des log vor die summe ziehen, aber die p(S)^2 geht nicht weg

Aufgabe 2:
Nach der Bayes Regel gilt für bedingte wahrscheinlichkeiten
P(X|Y)=P(X,Y)/P(Y)

Nun soll ich für die entropie zeigen das gilt
H(X,Y) = H(X) + H(Y/X) = H(Y) + H(X/Y)

Hierfür habe ich eine lösung die wie folgt aussieht:
1. H(X,Y) = log(P(X,Y)) = log(P(X)*P(Y|X))
2. = log(P(X))+log(P(Y|X) = H(X) + H(Y|X)
3. = log(P(Y)*P(X|Y)=log(P(Y))+log(P(X|Y)) = H(Y) + H(X|Y)

Hier stellen sich mir die fragen:
wie kommt die erste gleichung zustande?
H(X,Y) müsste doch $\begin{eqnarray*} \sum_{}~ (P(X,Y)*log(P(X,Y))) \end{eqnarray*}$ sein, oder? wieso bleibt da nur der logarithmus stehen?
Danach wird die bayes regel angewendet, das verstehe ich dann wieder.
Jedoch kommt dann die zeile 3. welche ja ebenfalls nochmal als "istgleich mit zeile 1" zu sehen ist. Wieso kann man hier das X und das Y vertauschen?

Aufgabe 3:
Nun soll gelten
I(X,Y) = H(X) - H(X|Y)
Und ich soll zeigen das sich dieser ausdruck folgendermassen schreiben kann.

I(X,Y) = $\begin{eqnarray*} \sum_{i}~ \sum_{j}~ ( P(x_i,y_i)*log( \frac{P(x_i,y_i)}{ P(x_i)*P(y_i)} )) \end{eqnarray*}$

Aber da ich nichtmal das obere verstehe hört es sich hier total auf.
---------------

Mein hauptproblem bei allen aufgaben ist irgendwie der "erste schritt". ich verstehe nicht das "einsetzen" von dem was in der klammer steht.
Ich habe mir die definitionen von entrope/bedingter entropie angesehen, aber es hilft alles nix.

Und dazu kommt, das ich donnerstag klausur schreibe und das bis dahin verstanden/gelöst haben muss.

pls help! Gott

18.07.2006, 17:30

Auf diesen Beitrag antworten »

Zunächst mal sollte $\begin{eqnarray*} S^2 \end{eqnarray*}$ erklärt werden: Ich nehme an, damit meinst du einen zweidimensionalen Vektor $\begin{eqnarray*} (X_1,X_2) \end{eqnarray*}$ mit unabhängigen identisch verteilten Komponenten, jeweils gemäß $\begin{eqnarray*} S \end{eqnarray*}$ verteilt. Kurz gesagt, zweimalige Versuchswiederholung.

18.07.2006, 18:05

MCStudent

Auf diesen Beitrag antworten »

Zitat:

Original von Arthur Dent
Zunächst mal sollte $\begin{eqnarray*} S^2 \end{eqnarray*}$ erklärt werden: Ich nehme an, damit meinst du einen zweidimensionalen Vektor $\begin{eqnarray*} (X_1,X_2) \end{eqnarray*}$ mit unabhängigen identisch verteilten Komponenten, jeweils gemäß $\begin{eqnarray*} S \end{eqnarray*}$ verteilt. Kurz gesagt, zweimalige Versuchswiederholung.

ich weis nicht was du damit meinst. ich hab die komplette aufgabestellung abgeschrieben bei der aufgabe. mehr ist nicht gegeben

edit: wenns evtl hilft: die aufgaben sind aus einem informatik kurs, kein mathe kurs

18.07.2006, 18:10

Auf diesen Beitrag antworten »

Tja, wenn du nicht weißt, was die Symbolik bedeutet, wie willst du dann die Aufgabe lösen?

18.07.2006, 18:14

MCStudent

Auf diesen Beitrag antworten »

Frag das meinen prof nicht mich.

ich weis:
H(X) ist eine entropie.
die entropie ist definiert als die negative summe über das produkt der einzelnen wahrscheinlichkeiten mit dem logarithmus aus den einzelnenwahrscheinlichkeiten.

eigentlich dachte ich muss man hier nur die definition einsetzen, etwas mit dem logarithmus jonglieren und die antwort steht da, leider hat das nicht so geklappt was mir sagt das ich wohl falsch "eingesetzt" habe.

und dieses problem scheine ich überall zu haben denn die aufgaben sind alle von der gleichen sorte

18.07.2006, 18:29

Auf diesen Beitrag antworten »

Zitat:

Original von MCStudent
Frag das meinen prof nicht mich.

Nein, du musst ihn fragen - das ist ja wohl klar. Vermutlich ist es in euer Vorlesung auch irgendwann erklärt worden, es ist dir nur entfallen.

18.07.2006, 18:35

MCStudent

Auf diesen Beitrag antworten »

bin meine vorlesung durchgegangen(ich würde hier net posten wenns in meiner vorlesung stehen würde)

dort steht die definition der entropie und dort steht
H(X^k) = k*H(X)

Das muss man doch so lösen können.
Über S ist ja bekannt das es eine unabhängige informationsquelle mit n quellensymbolen $\begin{eqnarray*} a_i \end{eqnarray*}$ ist und den wahrscheinlichkeiten $\begin{eqnarray*} p_i \end{eqnarray*}$

18.07.2006, 18:46

Auf diesen Beitrag antworten »

Na klar kann man's lösen - wenn man überhaupt erstmal weiß, was es bedeutet! Und aus eben dieser Gleichung habe ich ja rückwirkend auf die obige Interpretation geschlossen.

Das ist eigentlich alles, was ich in meinen Beiträgen hier sagen wollte: Dass man weiß, was die Symbole bedeuten, bevor man blind mit ihnen operiert. Das hier z.B.

Zitat:

Original von MCStudent
$\begin{eqnarray*} H(S^2) = -\sum_{}~(p(S)^2 * log(p(S)^2)) \end{eqnarray*}$

ist die Folge dieser mangelnden Begriffskenntnis.

18.07.2006, 18:50

MCStudent

Auf diesen Beitrag antworten »

im nachhinein weis ich auch das dies falsch ist(weil es nicht zum ergebnis führt und keine rechenfehler unterwegs sind)

Nur ergibt sich eben dies aus allem was ich weis/in meinem vorlesungsskript steht.
OK, wir hatten NIE eine entropie in der art H(S²), aber das hab ich mir eben gedacht.

danach bin ich zu wikipedia, aber auch dort steht keine erklärung für H(S^k).
Und mit google finde ich auch nix(wonach sollte ich auch suchen). daher hab ich gehofft finde ich hier jemanden der etwas mehr weis

18.07.2006, 18:53

Auf diesen Beitrag antworten »

Also im einzelnen:

Bei $\begin{eqnarray*} S \end{eqnarray*}$ hast du die $\begin{eqnarray*} n \end{eqnarray*}$ Symbole $\begin{eqnarray*} a_i \end{eqnarray*}$ mit den Einzelwahrscheinlichkeiten $\begin{eqnarray*} p_i \end{eqnarray*}$ , $\begin{eqnarray*} i=1,\ldots,n \end{eqnarray*}$ .

Bei $\begin{eqnarray*} S^2 \end{eqnarray*}$ hast du die $\begin{eqnarray*} n^2 \end{eqnarray*}$ (Paar-)Symbole $\begin{eqnarray*} (a_i,a_j) \end{eqnarray*}$ mit den Einzelwahrscheinlichkeiten $\begin{eqnarray*} p_{ij}=p_i\cdot p_j \end{eqnarray*}$ (wegen der Unabhängigkeit), $\begin{eqnarray*} i,j=1,\ldots,n \end{eqnarray*}$ .

Folglich rechnet man dann

$\begin{eqnarray*} H(S^2) = -\sum\limits_{i=1}^n ~ \sum\limits_{j=1}^n ~ p_{ij}\log_2(p_{ij}) \end{eqnarray*}$ ,

und dann $\begin{eqnarray*} p_{ij}=p_i\cdot p_j \end{eqnarray*}$ einsetzen und vereinfachen.

18.07.2006, 19:06

MCStudent

Auf diesen Beitrag antworten »

danke vielmals, mit dem ansatz kann ich etwas anfangen

18.07.2006, 19:43

MCStudent

Auf diesen Beitrag antworten »

OK, hab jetzt mal bissl rumprobiert, aber da muss es noch nen trick geben den ich nicht sehe.
bin atm so weit:

$\begin{eqnarray*} = p_i*p_j*log_2(p_i*p_j) \end{eqnarray*}$
$\begin{eqnarray*} = p_i*p_j (log_2(p_i) + log_2(p_j) \end{eqnarray*}$
$\begin{eqnarray*} = p_i*p_j*log_2(p_i) + p_i*p_j*log_2(p_j) \end{eqnarray*}$

ab hier fängts an etwas unsicher zu werden.
meine bisher "bestaussehenste" idee war(ich weis nicht ob man das mathematisch machen darf)

$\begin{eqnarray*} p_i*log_2(p_i) = H(S) \end{eqnarray*}$
$\begin{eqnarray*} p_j*log_2(p_j) = H(S) \end{eqnarray*}$

=> $\begin{eqnarray*} = p_j*H(S) + p_i*H(S) \end{eqnarray*}$
wenn ich nun noch die beiden faktoren wegbringen könnte hätte ich meine 2.
Meine idee wäre irgendwie ein
$\begin{eqnarray*} p_i+p_j=1 \end{eqnarray*}$
reinzubringen.

Da man aber nun normalerweise das H(S) ausklammern würde und dann in der klammer die 1 steht, denke ich das dieses gleichsetzten mit H(S) mathematisch nicht so ganz richtig war.

Meine zweite idee ist, das ich mit den wahrscheinlichkeiten $\begin{eqnarray*} p_i \end{eqnarray*}$ und $\begin{eqnarray*} p_j] \end{eqnarray*}$ etwas anfangen kann. Leider studiere ich kein mathe und daher beschränkt sich meine stochastik wissen auf die schulstochastik, und die ist nicht sehr umfangreich gewesen.
Irgendwie das man das $\begin{eqnarray*} p_i*p_j \end{eqnarray*}$ durch einen anderen ausdruck ausdrücken könnte oder das ich eines der beiden durch das andere ersetzen kann.
Leider fällt mir nichts davon ein was mich zum ziel bringt

18.07.2006, 19:56

Auf diesen Beitrag antworten »

Es ist deine Schlampigkeit, die den Erfolg verhindert: Du hast beim Umformen die Summen über $\begin{eqnarray*} i \end{eqnarray*}$ bzw. $\begin{eqnarray*} j \end{eqnarray*}$ "vergessen" ! Tatsächlich führen deine Umformungen nämlich zu

$\begin{eqnarray*} H(S^2) = \sum\limits_{j=1}^n ~ p_j\cdot H(S) ~ + ~ \sum\limits_{i=1}^n ~ p_i\cdot H(S) \end{eqnarray*}$

Und wie groß ist gleich nochmal $\begin{eqnarray*} \sum\limits_{j=1}^n ~ p_j = \sum\limits_{i=1}^n ~ p_i \end{eqnarray*}$ ? Augenzwinkern

18.07.2006, 20:00

MCStudent

Auf diesen Beitrag antworten »

omg, ich hab das auf meinem blatt alles säuberlich hingeschrieben immer eingerückt hinter die beiden summen und dann musste ich umblättern ....

also muss ich das H(S) ausklammern und die beiden summen ergeben 2!

JUHU!! thx much! eine aufgabe weniger um die ich mir sorgen machen muss. bleiben noch 2 und etwas über einen tag

du hast nicht auch zufällig bei den anderena ufgaben nen kleinen tip Big Laugh

19.07.2006, 15:30

MCStudent

Auf diesen Beitrag antworten »

OK, hab heute nochmal paar komolitonen gefragt. keiner hat die letzten beiden aufgaben lösen können.
Morgen ist klausur, keiner da der die lösung / nen lösungsansatz hat?

Neue Frage »

Antworten »

(bedingte) Entropie

Verwandte Themen