Informationsgehalt einer Übergangswahrscheinlichkeit

25.10.2011, 18:31

Dasiggo

Informationsgehalt einer Übergangswahrscheinlichkeit

Hallo,

kann mir jemand vielleicht ein Tipp geben warum dieses hier:
$\begin{eqnarray*} H(Y|X)=-\sum\limits_{i=1}^m \sum\limits_{j=1}^n P(x_{i}) \cdot P(y_{j}|x_{i})\cdot log_{2} P(y_{j}|x_{i}) ) \end{eqnarray*}$ der mittlere Informationsgehalt einer Übergangswahrscheinlichkeit von einer Quelle X zu einer Quelle Y ist?

Der Mittlere Informationsgehalt berechnet sich so:

$\begin{eqnarray*} H=-\sum\limits_{i=1}^m P(x_{i}) \cdot log_{2} P(x_{i}) \end{eqnarray*}$

Dann würde ich naiv vermuten das das für jede Wahrscheinlichkeit gilt, also:

$\begin{eqnarray*} H(Y|X)=-\sum\limits_{i=1}^m \sum\limits_{j=1}^n P(y_{j}|x_{i})\cdot log_{2} P(y_{j}|x_{i}) ) \end{eqnarray*}$

Was macht das $\begin{eqnarray*} P(x_{i}) \end{eqnarray*}$ in der obersten Formel?

Gruß

ich

25.10.2011, 20:23

René Gruber

Auf diesen Beitrag antworten »

Eine Frage der Definition...
$\begin{eqnarray*} H(Y \bigm| X) \end{eqnarray*}$ ist keine normale, sondern eine bedingte Entropie. Wie ist die definiert? Nun, über

$\begin{eqnarray*} H(Y \bigm| X) = \sum_{i=1}^m P(X=x_i)\cdot H(Y \bigm| X=x_i) \end{eqnarray*}$

mit

$\begin{eqnarray*} H(Y \bigm| A) = -\sum_{j=1}^n P(Y=y_j \bigm| A) \cdot \log_2\left( P(Y=y_j \bigm| A) \right) \end{eqnarray*}$

auch für das Ereignis $\begin{eqnarray*} A=[X=x_i] \end{eqnarray*}$ . Anscheinend verwendet du dann eine "verkürzte" Schreibweise $\begin{eqnarray*} P(Y=y_j \bigm| X=x_i) =: P(y_j \bigm| x_i) \end{eqnarray*}$ , was ich nicht gerade befürworte gerade bei Leuten, die noch derart unsicher wie du agieren - aber was soll ich machen... Augenzwinkern

26.10.2011, 11:15

Dasiggo

Auf diesen Beitrag antworten »

Interpretationsversuch...
Danke das du mir auch hier weiterhilfst.

Das ist das erste Heft zu dem Thema, was nicht gerade mit Erklärungen um sich schmeißt, erschwerend kommt noch hinzu das Stochastik ein Gebiet ist, was später noch in Mathe behandelt wird. Diese Definition haben wir im Heft gar nicht:
$\begin{eqnarray*} H(Y \bigm| X) = \sum_{i=1}^m P(X=x_i)\cdot H(Y \bigm| X=x_i) \end{eqnarray*}$
Danke dafür. Freude

Ich habe mal meine Gedanken durch die Wikipedia-Waschmaschine laufen lassen, lass mich mal die Formeln interpretieren und sag mir ob ich richtig liege.

Die bedingte Entropie ist die mittlere Unsicherheit (bzw. der mittlere Informationsgehalt) darüber, das nach einem beliebigen Ereignis aus A welches >0 ist (also ein Ereignis, das auf jeden Fall eine gewisse Wahrscheinlichkeit besitzt, in der es eintreten kann), irgendein Ereignis aus Y eintritt. Je größer die Unsicherheit, desto höher die Wahrscheinlichkeit das ein Ereignis aus Y eintrifft. Bei $\begin{eqnarray*} H(Y \bigm| A) =1 \end{eqnarray*}$ kann man sagen das nach einen Ereignis aus A auf jeden Fall ein Ereignis aus Y eintritt.
$\begin{eqnarray*} H(Y \bigm| A) = -\sum_{j=1}^n P(Y=y_j \bigm| A) \cdot \log_2P(Y=y_j \bigm| A) \end{eqnarray*}$

Diese Formel ist dann nicht anderes als die obige Formel, nur das jetzt die Unsicherheiten für jedes einzelne Ereignis aus A, das nach einem Ereignis aus A eines aus Y folgt, summiert werden.
$\begin{eqnarray*} H(Y \bigm| A) = -\sum_{i=1}^m\sum_{j=1}^n P(A=a_i) \cdot P(Y=y_j \bigm| A=a_i) \cdot \log_2P(Y=y_j \bigm| A=a_i) \end{eqnarray*}$

Dadurch hat man einen Mittelwert dafür, dass nach irgend einem Ereignis aus A eines aus Y folgt bzw. den Mittelwert der aufgetretenen Störungen in einem Kanal.

Ich hoffe ich liege nicht vollkommen daneben und bin noch halbwegs verständlich...

26.10.2011, 12:03

René Gruber

Auf diesen Beitrag antworten »

Zitat:

Original von Dasiggo
Die bedingte Entropie ist die mittlere Unsicherheit (bzw. der mittlere Informationsgehalt) darüber, das nach einem beliebigen Ereignis aus A welches >0 ist (also ein Ereignis, das auf jeden Fall eine gewisse Wahrscheinlichkeit besitzt, in der es eintreten kann), irgendein Ereignis aus Y eintritt.

Diese Formulierung "Ereignis aus $\begin{eqnarray*} A \end{eqnarray*}$ " wirkt verwirrend auf mich, denn $\begin{eqnarray*} A \end{eqnarray*}$ selbst ist ja ein Ereignis. verwirrt

Ich weiß jetzt nicht genau, was du von mir erwartest - ich versuche einfach mal mit eigenen Worten, die obigen Formeln irgendwie plausibel zu machen:

Die Definition von $\begin{eqnarray*} H(Y \bigm| A) \end{eqnarray*}$ entspricht genau der von $\begin{eqnarray*} H(Y) \end{eqnarray*}$ , nur dass statt der (direkten) Verteilung $\begin{eqnarray*} P(Y) \end{eqnarray*}$ der Zufallsgröße $\begin{eqnarray*} Y \end{eqnarray*}$ die bedingte Verteilung $\begin{eqnarray*} P(Y \bigm| A) \end{eqnarray*}$ entropiemäßig "bewertet" wird.

Solch eine Ereignisbedingung $\begin{eqnarray*} A \end{eqnarray*}$ kann nun eben z.B. auch $\begin{eqnarray*} X=x_i \end{eqnarray*}$ sein. Ist $\begin{eqnarray*} X \end{eqnarray*}$ nun eine Zufallsgröße, so versteht man unter $\begin{eqnarray*} H(Y \bigm| X) \end{eqnarray*}$ eine "mittlere" Entropie, d.h. man mittelt die (bedingten) Einzelentropien $\begin{eqnarray*} H(Y \bigm| X=x_i) \end{eqnarray*}$ gemäß der Eintrittswahrscheinlichkeiten aller möglichen $\begin{eqnarray*} X \end{eqnarray*}$ -Werte, was dann die obige Formel ergibt.

Zitat:

Original von Dasiggo
Bei $\begin{eqnarray*} H(Y \bigm| A) =1 \end{eqnarray*}$ kann man sagen das nach einen Ereignis aus A auf jeden Fall ein Ereignis aus Y eintritt.

Nein: Entropien sind keine Wahrscheinlichkeiten, sie sind auch nicht als solche interpretierbar. Insbesondere dem Wert 1 kommt da keine besondere Bedeutung zu.

Bei Wert 0 sieht das anders aus: $\begin{eqnarray*} H(Y) = 0 \end{eqnarray*}$ bedeutet, dass $\begin{eqnarray*} Y \end{eqnarray*}$ fast sicher konstant ist. Entsprechend heißt $\begin{eqnarray*} H(Y \bigm| A) = 0 \end{eqnarray*}$ , dass $\begin{eqnarray*} Y \end{eqnarray*}$ fast sicher konstant ist unter der Bedingung, dass Ereignis $\begin{eqnarray*} A \end{eqnarray*}$ eingetreten ist.

P.S.: Ich sag's mal salopp, wie ich heuristisch (also nicht mathematisch wasserdicht) den Grundgedanken hinter der Informationsentropie einer diskreten Zufallsgröße $\begin{eqnarray*} Y \end{eqnarray*}$ formulieren würde:

Man benötigt im Mittel mindestens $\begin{eqnarray*} H(Y) \end{eqnarray*}$ Antworten auf Ja-Nein-Fragen (= Anzahl Bits), um einen gemäß $\begin{eqnarray*} P(Y) \end{eqnarray*}$ ausgewürfelten Wert rauszukriegen. Bei optimaler Fragstrategie wird aus dem "mindestens" sogar ein "genau".

26.10.2011, 13:46

Dasiggo

Auf diesen Beitrag antworten »

OK,
dann habe ich den Begriff "Ungewissheit" aus Wikipedia falsch verstanden.

(Ich dachte bei A und Y ging es um Mengen, da ich Großbuchstaben in Mathe nur von Mengen her kenne.)

Dann heißt $\begin{eqnarray*} H(Y \bigm| A) = 0 \end{eqnarray*}$ das ich voraussehen kann welchen Wert Y annimmt wenn A auftaucht, da es keine Information mehr ist bzw. die Ungewissheit ist nicht vorhanden. $\begin{eqnarray*} P(Y \bigm| A) = 1 \end{eqnarray*}$ heißt dagegen das nach dem A sicher ein Y auftaucht.

Womit ich auch noch Schwierigkeiten habe, ist der begriff bedingte Entropie in der Informationstheorie. Falls ich mit der obigen Beschreibung richtig liege, dann würde das für mich so anhören das ich bei $\begin{eqnarray*} H(Y \bigm| A) = 0 \end{eqnarray*}$ weiß welches Y nach A kommt. Wie kann man sich so was vorstellen, das nach 101101001 auf jeden fall eine 1 kommt?

26.10.2011, 13:54

René Gruber

Auf diesen Beitrag antworten »

Zitat:

Original von Dasiggo
$\begin{eqnarray*} P(Y \bigm| A) = 1 \end{eqnarray*}$ heißt dagegen das nach dem A sicher ein Y auftaucht.

Nein, auch wieder falsch, und diesmal ist es wirklich eine Folge nachlässiger Symbolik, die ich oben schon bemängelt habe:

$\begin{eqnarray*} P(Y \bigm| A) \end{eqnarray*}$ kennzeichnet die ganze bedingte Verteilung der Zufallsgröße $\begin{eqnarray*} Y \end{eqnarray*}$ unter der Bedingung, dass $\begin{eqnarray*} A \end{eqnarray*}$ eingetreten ist. Das ist also kein einzelner konkreter Wert!

Ein konkreter Wahrscheinlichkeitswert (zwischen 0 und 1) wird es erst mit $\begin{eqnarray*} P(Y=y_j \bigm| A) \end{eqnarray*}$ , was die Wahrscheinlichkeit kennzeichnet, dass $\begin{eqnarray*} Y \end{eqnarray*}$ den Wert $\begin{eqnarray*} y_j \end{eqnarray*}$ annimmt, wiederum unter der Bedingung, dass $\begin{eqnarray*} A \end{eqnarray*}$ eingetreten ist.

P.S.: Zu deiner obigen Interpretation

Zitat:

Original von Dasiggo
Wahrscheinlichkeit [...] dass nach dem A sicher ein Y auftaucht.

würde hier konkret bei der Aufgabe die Symbolik $\begin{eqnarray*} P(Y \in \{y_1,\ldots,y_n\} \bigm| A) = 1 \end{eqnarray*}$ passen.

26.10.2011, 14:24

Dasiggo

Auf diesen Beitrag antworten »

Also um noch mal ganz sicher zu gehen.

$\begin{eqnarray*} P(Y=y_j \bigm| A)=1 \end{eqnarray*}$ bedeutet, das wenn irgendein A auftaucht, das dann Y den Wert $\begin{eqnarray*} y_j \end{eqnarray*}$ annimmt.

Wenn ich für $\begin{eqnarray*} y_j \end{eqnarray*}$ ="Erde ist nass" definiere und dann sage:

A="Es regnet" dann gilt für eine Unüberdachte Fläche diese Formel $\begin{eqnarray*} P(Y=y_j \bigm| A)=1 \end{eqnarray*}$

und bei

A="Ich gieße Blumen" dann gilt auch $\begin{eqnarray*} P(Y=y_j \bigm| A)=1 \end{eqnarray*}$

und bei

A="Auf der Erde gibt es kein Tropfen Wasser mehr" gilt dann $\begin{eqnarray*} P(Y=y_j \bigm| A)=0 \end{eqnarray*}$

Das wären dann nur Extremfälle.

Bin ich jetzt etwas näher an der Richtigkeit?

27.10.2011, 10:47

René Gruber

Auf diesen Beitrag antworten »

Es gefällt mir irgendwie ganz und gar nicht, in welche Richtung der Thread hier abdriftet: Du fängst an mit einigermaßen anspruchsvollen Dingen wie (bedingter) Entropie, und jetzt sind wir dabei, primitive Beispiele bedingter Wahrscheinlichkeit zu diskutieren. Sowas sollte zu diesem Zeitpunkt doch eigentlich längst sitzen, sonst stehen doch die Überlegungen zur Entropie auf mehr als nur wackligem Fundament?

27.10.2011, 12:45

Dasiggo

Auf diesen Beitrag antworten »

Ok, halten wir fest das ich noch einige Lücken im Stochastischen wissen habe.
Wie gesagt, wir haben ein Heft bekommen, das stochastische Rechnungen enthält, obwohl wir aber noch keine Stochastik hatten.

Dann schließe ich diesen Beitrag ab und danke dir das du es versucht hast.

27.10.2011, 13:11

René Gruber

Auf diesen Beitrag antworten »

Zitat:

Original von Dasiggo
Wie gesagt, wir haben ein Heft bekommen, das stochastische Rechnungen enthält, obwohl wir aber noch keine Stochastik hatten.

Hatte ich so bisher nicht mitgekriegt, Entschuldigung. Aber das klingt irgendwie gar nicht gut, was das Verständnis der Problematik betrifft. Hoffentlich hattest du wenigstesn in der Schule eine brauchbare Stochastik-Grundlage, ansonsten besteht wirklich Nachholbedarf, um diesen ganzen Entropiekram wirklich inhaltlich besser zu verstehen.

Neue Frage »

Antworten »

Informationsgehalt einer Übergangswahrscheinlichkeit

Verwandte Themen