Relativer Informationsgehalt H bei max. Streuung

10.04.2019, 12:44

Moritary

Auf diesen Beitrag antworten »

Relativer Informationsgehalt H bei max. Streuung

Hallo zusammen,

wir hatten heute als ein mögliches Streuungsmaß für nominalskalierte Variablen den relativ Informationsgehalt mit folgender Formel: $\begin{eqnarray*} H=-\frac{1}{\ln k} * \sum \limits_{j=1}^K h_j * \ln h_j \end{eqnarray*}$

In der Übung gab es dann folgende Aufgabe: Zeigen Sie, dass bei maximaler Dispersion $\begin{eqnarray*} H=1 \end{eqnarray*}$ gilt.

Mein Ansatz war folgender: Maximaler Dispersion bedeutet, alle Merkmalskategorien sind gleich häufig, also gilt in dem Fall $\begin{eqnarray*} h_j= \frac{1}{k} \end{eqnarray*}$ für alle $\begin{eqnarray*} j=1...k \end{eqnarray*}$ . Ist der Ansatz soweit richtig?

Das in die Formel für H eingesetzt ergibt dann $\begin{eqnarray*} H=-\frac{1}{\ln k} * \sum \limits_{j=1}^K \frac{1}{k} * \ln \frac{1}{k} \end{eqnarray*}$ . Richtig?

An dem Punkt komm ich jedoch irgendwie nicht weiter..Wie kann ich jetzt die Summe und die Logarithmen auflösen und wie zur Hölle kriege ich das negative Vorzeichen ganz am Anfang weg?

Vielen Dank schon mal für eure Hilfe smile

smile

10.04.2019, 16:57

Romaxx

Auf diesen Beitrag antworten »

Das sieht doch alles sehr gut aus. Du brauchst nur noch die Logarithmen-Regeln anwenden und die Summe richtig aufaddieren:

$\begin{eqnarray*} \log(a/b)=\log(a)-\log(b) \end{eqnarray*}$

Ich hoffe $\begin{eqnarray*} k=K \end{eqnarray*}$ . Den Rest schaffst du allein Augenzwinkern

Augenzwinkern

.

10.04.2019, 17:38

HAL 9000

Auf diesen Beitrag antworten »

Interessanter ist der Nachweis, dass für alle anderen Verteilungen $\begin{eqnarray*} (h_1,\ldots,h_k) \end{eqnarray*}$ dann $\begin{eqnarray*} H<1 \end{eqnarray*}$ gilt. Geht aber mit der Jensenschen Ungleichung.

Erinnert hier doch alles sehr an Informationsentropie, bis auf den anderen Vorfaktor.

10.04.2019, 17:40

Romaxx

Auf diesen Beitrag antworten »

Besser gesagt: Kullback Leibler Divergenz

10.04.2019, 17:44

HAL 9000

Auf diesen Beitrag antworten »

Hab ich noch nie gehört, aber gehört offenbar auch zu diesem Dunstkreis. Scheint mir allerdings nicht ganz zu passen, da dort ja zwei Verteilungen miteinander verglichen werden. Hier im Thread geht es (soweit ich das sehe) erstmal nur immer um eine.

10.04.2019, 17:45

Romaxx

Auf diesen Beitrag antworten »

Wer suchet der findet Augenzwinkern

Augenzwinkern

.

Anzeige

10.04.2019, 18:16

HAL 9000

Auf diesen Beitrag antworten »

Ich finde da nichts, was ein "besser gesagt" rechtfertigt - allenfalls (mit etwas Wohlwollen) ein "anders gesagt". smile

smile

10.04.2019, 18:46

Romaxx

Auf diesen Beitrag antworten »

'relativ Informationsgehalt': erster Post, ist genau so definiert Augenzwinkern

Augenzwinkern

- und so kann man auch die zweite Verteilung sehr schnell identifizieren.

10.04.2019, 18:56

HAL 9000

Auf diesen Beitrag antworten »

Da du offenbar sehr streitlustig heute bist:

Wenn ich mir den Wiki-Artikel über diese "Kullback Leibler Divergenz" so durchlese, dann entspricht dieser Wert nicht dem $\begin{eqnarray*} H \end{eqnarray*}$ von oben, auch nicht wenn man als eine der Verteilungen die Gleichverteilung wählt:

Nicht nur, dass der Vorfaktor ein anderer ist (das ist bei der Informationsentropie ja auch so), man hat zusätzlich auch noch einen additiven Offset.

Also alles in allem doch schon etwas entfernt zu obigem $\begin{eqnarray*} H \end{eqnarray*}$ , deswegen mein "mit Wohlwollen". Augenzwinkern

Augenzwinkern

10.04.2019, 19:02

Romaxx

Auf diesen Beitrag antworten »

$\begin{eqnarray*} -\frac{1}{\log(k)} = \frac{1}{\log(\frac{1}{k})} \end{eqnarray*}$ , eeee volia... Wer ist hier Streitsüchtig?

10.04.2019, 19:04

HAL 9000

Auf diesen Beitrag antworten »

Tja, wenn man die Logarithmengesetze nicht beherrscht, dann blamiert man sich eben so gut man kann:

Wenn $\begin{eqnarray*} u_1=\ldots=u_k=\frac{1}{k} \end{eqnarray*}$ ist, dann folgt

$\begin{eqnarray*} KL(h,u) = \sum_{j=1}^k h_j\ln(kh_j) = \sum_{j=1}^k h_j(\ln(k)+\ln(h_j)) = \ln(k) + \sum_{j=1}^k h_j\ln(h_j) = (1-H)\ln(k) \end{eqnarray*}$ .

10.04.2019, 19:06

Romaxx

Auf diesen Beitrag antworten »

Das könnte ich jetzt von dir behaupten smile

smile

:

https://en.wikipedia.org/wiki/Kullback%E...bler_divergence

Equation 1: hier ist P(X) im Nenner Augenzwinkern

Augenzwinkern

.

10.04.2019, 19:11

HAL 9000

Auf diesen Beitrag antworten »

Das ist doch gehupft wie gesprungen, ob man nun $\begin{eqnarray*} KL(h,u) = \sum_{j=1}^k h_k\ln\left( \frac{h_k}{u_k}\right) \end{eqnarray*}$ oder $\begin{eqnarray*} KL(h,u) = -\sum_{j=1}^k h_k\ln\left( \frac{u_k}{h_k}\right) \end{eqnarray*}$ betrachtet, beide Definitionen sind äquivalent. Bin gespannt, welche Ausrede dir noch einfällt, dich aus dem Schlamassel jetzt noch rauszureden...

EDIT: Du hast ja lange mit einer Antwort gerungen, es dann aber doch (erstmal?) verschoben. Es ist eben doch nicht so leicht $\begin{eqnarray*} KL(h,u) = (1-H)\ln(k) \end{eqnarray*}$ zu widerlegen. Augenzwinkern

Augenzwinkern

10.04.2019, 20:30

Romaxx

Auf diesen Beitrag antworten »

Ich überlasse es dir, zu zeigen, dass es die Gleichverteilung mit Wahrscheinlichkeit:

$\begin{eqnarray*} p=\frac{1}{Ke}=\frac{1}{K^{1+\frac{1}{ln(K)}}} \end{eqnarray*}$ ,

dies impliziert die Wahl der Basis e.

Für jede andere Basis erhalte ich:

$\begin{eqnarray*} p=\frac{1}{Kb}=\frac{1}{K^{1+\frac{1}{log_b(K)}}} \end{eqnarray*}$ .

Und jetzt frag mich nicht, was ist, wenn ich die Basis kleiner als $\begin{eqnarray*} \frac{1}{K} \end{eqnarray*}$ wähle.

Viel Spass! smile

smile

10.04.2019, 20:39

HAL 9000

Auf diesen Beitrag antworten »

Aha, du wählst die Chewbacca-Verteidigung. Ist natürlich einfacher, statt einfach mal die obige Fehleinschätzung zuzugeben. Ich überlass dich jetzt mal deinen Selbstgesprächen. Teufel

Teufel

10.04.2019, 20:42

Romaxx

Auf diesen Beitrag antworten »

Naja, ich sage mal so, solange es sich um die relative Information handelt, ist das genau das Ergebnis, etwas allgemeiner natürlich, und glaub mir, dass habe ich wirklich durch etwas Rechnen herausgefunden. Das ist kein Schmarn Wink

Wink

. Man könnte sich natürlich jetzt fragen, was es bedeutet, zwei Verteilungen über derselben Variablen zu definieren.

10.04.2019, 20:53

HAL 9000

Auf diesen Beitrag antworten »

Es ging immer darum, die Verbindung zwischen dem $\begin{eqnarray*} H \end{eqnarray*}$ im Eröffnungsbeitrag und deiner Kullback Leibler Divergenz herzustellen. Die besteht, wenn man als Vergleichsverteilung die diskrete Gleichverteilung $\begin{eqnarray*} u \end{eqnarray*}$ wählt, und diese Beziehung ist (wie ich oben nachgewiesen habe) $\begin{eqnarray*} KL(h,u) = (1-H)\ln(k) \end{eqnarray*}$ . Also genau das, was ich hier vorher

Zitat:

Original von HAL 9000
Nicht nur, dass der Vorfaktor ein anderer ist (das ist bei der Informationsentropie ja auch so), man hat zusätzlich auch noch einen additiven Offset.

beschrieben hatte.

Du hingegen hast kein einziges Argument vorgebracht, was gegen diese Aussage spricht. Und auch keine andere Vergleichsverteilung *) genannt, die eine noch engere Verwandtschaft zu $\begin{eqnarray*} H \end{eqnarray*}$ zeigt. Statt dessen immer neue Winkelzüge, die vom Thema ablenken - hab mich jetzt lang genug an der Nase herumführen lassen, meine Geduld mit dir ist am Ende.

Zu *): Die Summe der Einzelwahrscheinlichkeiten einer diskreten Verteilung MUSS gleich 1 sein. Insofern kannst du mit Einzelwahrscheinlichkeiten von je $\begin{eqnarray*} p=\frac{1}{k^{1-\frac{1}{ln(k)}}} \end{eqnarray*}$ gar keine diskrete Gleichverteilung auf $\begin{eqnarray*} k \end{eqnarray*}$ Werten bauen. Deine "Gleichverteilung" verletzt also elementarste Grundregeln der Wahrscheinlichkeitsrechnung - das ist einfach nur ein unüberlegter, hanebüchener Versuch, deinen Arsch zu retten.

10.04.2019, 20:57

Romaxx

Auf diesen Beitrag antworten »

Ok, aber du könntest dich auch fragen, für welches $\begin{eqnarray*} H \end{eqnarray*}$ denn $\begin{eqnarray*} KL(h,u)=1 \end{eqnarray*}$ gilt und würdest bestimmt auf dasselbe kommen Augenzwinkern

Augenzwinkern

.

Eine Sache muss ich noch loswerden:

$\begin{eqnarray*} KL(h,u)=H \end{eqnarray*}$ zur Basis $\begin{eqnarray*} u= konstant \end{eqnarray*}$

Bitte erkläre mir die Wahl der Basis im Fall der Entropie, wenn $\begin{eqnarray*} H \end{eqnarray*}$ nun die Entropie ist.

Zusatz: $\begin{eqnarray*} KL(h,u)=Entropie \end{eqnarray*}$ zu einer andere logarithmischen Basis, eben der Basis $\begin{eqnarray*} u \end{eqnarray*}$ , wenn konstant.

10.04.2019, 23:32

HAL 9000

Auf diesen Beitrag antworten »

Ich greif nochmal ein, da du deinen Beitrag von 20:30 so gegen 23 Uhr umgebaut hast, nunmehr mit diesem Zeug:

Zitat:

Original von Romaxx
Ich überlasse es dir, zu zeigen, dass es die Gleichverteilung mit Wahrscheinlichkeit:

$\begin{eqnarray*} p=\frac{1}{Ke}=\frac{1}{K^{1+\frac{1}{ln(K)}}} \end{eqnarray*}$ ,

dies impliziert die Wahl der Basis e.

Abgesehen davon, dass der merkwürdigen Satzstruktur gar nicht zu entnehmen ist, was ich zeigen soll: Auch mit diesem $\begin{eqnarray*} p \end{eqnarray*}$ hat man keine diskrete Gleichverteilung auf $\begin{eqnarray*} k \end{eqnarray*}$ Zahlen. Bitte informier dich doch endlich mal, was eine

https://de.wikipedia.org/wiki/Diskrete_Gleichverteilung

ist, bzw., was überhaupt eine diskrete Verteilung auszeichnet: U.a. Summe der Wahrscheinlichkeiten gleich 1. Es ist wirklich nervig, diese Banalitäten immer wiederholen zu müssen, aber bei dir muss es ja anscheinend sein.

10.04.2019, 23:42

Romaxx

Auf diesen Beitrag antworten »

Glaub mir, dass ist und war mir stets bewusst. Ich habe in dem editieren Beitrag lediglich ein Vorzeichen angepasst, dass dann aus $\begin{eqnarray*} \frac{b}{K} \end{eqnarray*}$ den Ausdruck $\begin{eqnarray*} \frac{1}{Kb} \end{eqnarray*}$ werden lässt.

Bitte erkläre mir die Wahl der Basis des Logarithmus in diesem Beispiel, dann kommen wir weiter..

10.04.2019, 23:45

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Romaxx
Bitte erkläre mir die Wahl der Basis des Logarithmus in diesem Beispiel, dann kommen wir weiter..

Lenk nicht schon wieder ab, sondern mach erst mal deine Hausaufgaben: Wie bügelst du diese unglaubliche Dummheit aus, deine Argumentation auf einer Verteilung aufzubauen, die gar keine Wahrscheinlichkeitsverteilung ist?

Dein Beitrag 20:57 war übrigens der Gipfel der Unverschämtheit: Da forderst du mich auf, ein $\begin{eqnarray*} u \end{eqnarray*}$ zu finden mit $\begin{eqnarray*} KL(h,u)=H(h) \end{eqnarray*}$ , obwohl das die ganze Zeit DEINE Theorie war! Und wo ich der Meinung bin, dass das gar nicht möglich ist: Sieht man supereinfach am Beispiel $\begin{eqnarray*} h=u \end{eqnarray*}$ , da ist nämlich $\begin{eqnarray*} KL(u,u)=0 \end{eqnarray*}$ während $\begin{eqnarray*} H(u)>0 \end{eqnarray*}$ für alle nur denkbaren Verteilungen $\begin{eqnarray*} u \end{eqnarray*}$ ist.

Seit jenen Tagen hat sich überhaupt nichts geändert:

In einer unglaublichen Sturheit reitest du immer noch tote Pferde weiter und immer weiter. Allem Anschein nach kannst du es einfach nicht ertragen, wenn andere vor dir erkennen und es dir auf den Kopf zusagen "Das Pferd ist tot, steig ab!".

10.04.2019, 23:49

Romaxx

Auf diesen Beitrag antworten »

Sag mal, hast du sie noch alle? Du wirfst hier mit Sachen um dich, anstelle in Ruhe mit mir zu reden. Du bist doch der, der lieber die Konfrontation sucht. Dabei wolltest du dich schon vor 4 Posts verabschieden.

10.04.2019, 23:52

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Romaxx
Sag mal, hast du sie noch alle? Du wirfst hier mit Sachen um dich, anstelle in Ruhe mit mir zu reden.

Vielleicht ist es Zeit, dass sich mal ein Moderator drum kümmert. So wie du dich hier aufführst, hat das alles keinen Zweck mehr - vielleicht begibst du dich mal in ärztliche Behandlung.

10.04.2019, 23:55

Romaxx

Auf diesen Beitrag antworten »

So wie du hier auftritts und mit Beleidigungen um dich wirfst, frage ich mich, ob du überhaupt Charakter hast. Das es sich um die relative Entropie handelt steht sogar im Titel.

11.04.2019, 07:56

HAL 9000

Auf diesen Beitrag antworten »

Vielleicht Zeit für einen inhaltlichen Neustart, beginnend mit einem Überblick über die diversen Entropien, um die es hier ging und geht. Sie alle sind definiert für diskrete Wahrscheinlichkeitsvektoren aus

$\begin{eqnarray*} D_k := \left\{ h=\left(h_1,\ldots,h_k\right)\in\mathbb{R}^k \bigm| h_j>0\,\forall j;\; \sum_{j=1}^k h_j = 1 \right\} \end{eqnarray*}$

(strikt positive Verteilung) sowie bisweilen auch auf dem zugehörigen topologischen Abschluss

$\begin{eqnarray*} \bar{D}_k = \left\{ h=\left(h_1,\ldots,h_k\right)\in\mathbb{R}^k \bigm| h_j\geq 0\,\forall j;\; \sum_{j=1}^k h_j = 1 \right\} \end{eqnarray*}$ .

Wichtig dabei ist u.a. auch die diskrete Gleichverteilung $\begin{eqnarray*} u^{(k)}\in D_k \end{eqnarray*}$ , d.h., den Vektor, für den sämtliche Komponenten gleich $\begin{eqnarray*} \frac{1}{k} \end{eqnarray*}$ sind.

(1) Das $\begin{eqnarray*} H \end{eqnarray*}$ aus dem Eröffnungsbeitrag von Moritary, das ist

$\begin{eqnarray*} H = H(h) := -\frac{1}{\ln(k)}\cdot \sum_{j=1}^k h_j\ln(h_j) \end{eqnarray*}$ für $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ mit $\begin{eqnarray*} k\geq 2 \end{eqnarray*}$ .

Aus der Definition ergibt sich unmittelbar $\begin{eqnarray*} 0<H(h)\leq 1 \end{eqnarray*}$ für alle $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ (beweisbar per Jensenscher Ungleichung), wobei die obere Grenze $\begin{eqnarray*} H(h)=1 \end{eqnarray*}$ genau dann eintritt, wenn $\begin{eqnarray*} h=u^{(k)} \end{eqnarray*}$ ist.

Man kann diese Definition auch stetig fortsetzen für alle $\begin{eqnarray*} h\in \bar{D}_k \end{eqnarray*}$ , indem man für $\begin{eqnarray*} h_j=0 \end{eqnarray*}$ den Term $\begin{eqnarray*} h_j\ln(h_j) \end{eqnarray*}$ durch den Grenzwert $\begin{eqnarray*} \lim_{h\searrow 0} h\ln(h) = 0 \end{eqnarray*}$ ersetzt. In diesem Fortsetzungssinne gilt dann $\begin{eqnarray*} 0\leq H(h)\leq 1 \end{eqnarray*}$ für alle $\begin{eqnarray*} h\in \bar{D}_k \end{eqnarray*}$ , wobei $\begin{eqnarray*} H(h)=0 \end{eqnarray*}$ genau dann eintritt, wenn $\begin{eqnarray*} h \end{eqnarray*}$ eine Einpunktverteilung ist (d.h. es gibt ein $\begin{eqnarray*} i \end{eqnarray*}$ mit $\begin{eqnarray*} h_i=1 \end{eqnarray*}$ und $\begin{eqnarray*} h_j=0 \end{eqnarray*}$ für alle $\begin{eqnarray*} j\neq i \end{eqnarray*}$ ).

(2) Die Informationsentropie (nach Shannon)

$\begin{eqnarray*} S = S(h) := -\sum_{j=1}^k h_j\log_2(h_j) = -\frac{1}{\ln(2)}\sum_{j=1}^k h_j\ln(h_j) \end{eqnarray*}$ für $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ .

Offenkundig besteht der lineare Zusammenhang $\begin{eqnarray*} S(h) = \alpha_k H(h) \end{eqnarray*}$ für alle $\begin{eqnarray*} h \end{eqnarray*}$ , mit $\begin{eqnarray*} \alpha_k:=\frac{\ln(k)}{\ln(2)} = \log_2(k) \end{eqnarray*}$ . Damit haben wir hier die veränderten Grenzen $\begin{eqnarray*} 0<S(h)\leq \alpha_k \end{eqnarray*}$ für $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ bzw. $\begin{eqnarray*} 0\leq S(h)\leq \alpha_k \end{eqnarray*}$ für $\begin{eqnarray*} h\in \bar{D}_k \end{eqnarray*}$ .

(3) Die Kullback Leibler Divergenz

$\begin{eqnarray*} KL(h,v) := -\sum_{j=1}^k h_k\ln\left( \frac{v_k}{h_k}\right) = \sum_{j=1}^k h_k\ln\left( \frac{h_k}{v_k}\right) \end{eqnarray*}$ für $\begin{eqnarray*} h,v\in D_k \end{eqnarray*}$ ,

neu im Vergleich zu (1)(2) ist hier die einfließende Vergleichsverteilung $\begin{eqnarray*} v \end{eqnarray*}$ . Wählt man für diese die Gleichverteilung, so bekommt man

$\begin{eqnarray*} KL\left(h,u^{(k)}\right) = -\sum_{j=1}^k h_k\ln\left( \frac{1}{kh_k}\right) = \sum_{j=1}^k h_k\left(\ln(k)+\ln\left(h_k\right)\right) =\ln(k) + \sum_{j=1}^k h_k\ln\left(h_k\right) = (1-H(h))\ln(k) \end{eqnarray*}$ für $\begin{eqnarray*} h\in D_k \end{eqnarray*}$

mit dem $\begin{eqnarray*} H(h) \end{eqnarray*}$ aus (1). Soweit alles klar, aber gibt es nicht vielleicht auch eine Vergleichsverteilung $\begin{eqnarray*} v^{(k)}\in D_k \end{eqnarray*}$ sowie einen reellen Proportionalitätsfaktor $\begin{eqnarray*} \beta_k \end{eqnarray*}$ , so dass in Analogie von (2) die Gleichung

$\begin{eqnarray*} KL\left(h,v^{(k)}\right) \stackrel{?}{=} \beta_k H(h) \end{eqnarray*}$ für alle $\begin{eqnarray*} h\in D_k \end{eqnarray*}$

gilt? Die Antwort ist ein klares NEIN, mit folgender Begründung: Wie man unschwer nachrechnet, gilt speziell für $\begin{eqnarray*} h=v^{(k)} \end{eqnarray*}$ dann $\begin{eqnarray*} KL\left(h,v^{(k)}\right)=KL\left(v^{(k)},v^{(k)}\right)=0 \end{eqnarray*}$ während aber ja $\begin{eqnarray*} H(h)=H\left(v^{(k)}\right)>0 \end{eqnarray*}$ gilt. Das führt unweigerlich zu Proportionalitätsfaktor $\begin{eqnarray*} \beta_k=0 \end{eqnarray*}$ und damit der Forderung $\begin{eqnarray*} KL\left(h,v^{(k)}\right)=0 \end{eqnarray*}$ für alle $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ . Dass das nicht stimmt, sollte jeder sehen (wenn es sein muss, weise ich es auch noch nach, ich lasse nach den schlimmen Erfahrungen hier im Thread keine Lücke offen).

Summa summarum stellt sich also die Frage: Wieso soll die Kullback Leibler Divergenz (3) der Entropie $\begin{eqnarray*} H \end{eqnarray*}$ aus (1) näher verwandt sein ("besser gesagt") als die Informationsentropie (2), wenn keine Gleichheit $\begin{eqnarray*} KL(\cdot,v) = H(\cdot) \end{eqnarray*}$ für irgendein $\begin{eqnarray*} v \end{eqnarray*}$ erreichbar ist, ja nicht mal Proportionalität $\begin{eqnarray*} KL(\cdot,v) = \beta_k H(\cdot) \end{eqnarray*}$ für irgendein $\begin{eqnarray*} \beta_k \end{eqnarray*}$ (ähnlich wie sie für (2) besteht) ?

Sich allein am Strohhalm des Wörtchens "relativ" hochzuziehen ist vollkommen untauglich: Wie gerade ausführlich seziert ist eine geringere inhaltliche Verwandtschaft von (1) zu (3) als zu (2) feststellbar, daran ändert auch ein missverständliches Attribut nichts. Meine Vermutung ist, dass sich "relativ" bei (1) auf die Vektordimension $\begin{eqnarray*} k \end{eqnarray*}$ bezieht, d.h., die von diesem $\begin{eqnarray*} k \end{eqnarray*}$ abhängige Normierungskonstante $\begin{eqnarray*} -\frac{1}{\ln(k)} \end{eqnarray*}$ im Vergleich zur festen (d.h. von $\begin{eqnarray*} k \end{eqnarray*}$ unabhängigen) Normierungskonstante $\begin{eqnarray*} -\frac{1}{\ln(2)} \end{eqnarray*}$ für Informationsentropie (2). Diese Normierungskonstante in (1) ist offenbar so gewählt, dass diese Entropie $\begin{eqnarray*} H(h) \end{eqnarray*}$ nach oben gedeckelt ist durch einheitlich den Wert 1, ganz egal in welcher Vektordimension $\begin{eqnarray*} k \end{eqnarray*}$ - das macht wie oben bereits erwähnt den wesentlichen Unterschied zum ansonsten eng verwandten $\begin{eqnarray*} S(h) \end{eqnarray*}$ in (2).

P.S.: Diese Zusammenfassung ist für alle gedacht, die am Thema interessiert sind. Das schließt vor allem den Threadersteller Moritary ein (den wohl vor allem (1) interessieren wird), aber auch alle anderen inklusive Romaxx, so er denn für eine wirkliche inhaltliche Diskussion bereit ist.

11.04.2019, 10:09

Romaxx

Auf diesen Beitrag antworten »

Danke für den sehr ausführlichen Exkurs.

Wie du sicher schon festgestellt hast, ist $\begin{eqnarray*} -H = S_{\frac{1}{K}} \end{eqnarray*}$ , wobei $\begin{eqnarray*} S_{\frac{1}{K}} \end{eqnarray*}$ die Entropie zu der Basis tada, $\begin{eqnarray*} \frac{1}{K} \end{eqnarray*}$ ist. Die Basis spielt eine entscheidende Rolle in der Informationstheorie, so auch bei KL und ist nicht per se vorher definiert...

Man kann nun zeigen, dass

$\begin{eqnarray*} -S_{\frac{1}{K}}=H=-\frac{1}{\ln(K)}\sum_{j=1}^k \frac{1}{K}\ln(\frac{1}{K})=\sum_{j=1}^k \frac{1}{K}\log_{\frac{1}{K}}(\frac{1}{K})\overset{!}{=}\sum_{j=1}^k \frac{1}{K}\log_{b}(\frac{\frac{1}{K}}{v})=KL(p|q) \end{eqnarray*}$

genau dann der Fall ist, wenn

$\begin{eqnarray*} \log_{b}(\frac{\frac{1}{K}}{v})\overset{!}{=}\log_{\frac{1}{K}}(\frac{1}{K})=1 \end{eqnarray*}$

ist. Einfach hoch $\begin{eqnarray*} b \end{eqnarray*}$ ergibt

$\begin{eqnarray*} v=\frac{1}{Kb} \end{eqnarray*}$ . Und das wieder einsetzen

$\begin{eqnarray*} KL(p|q)=\sum_{j=1}^K \frac{1}{K}\log_{b}(\frac{\frac{1}{K}}{\frac{1}{K}}b) \end{eqnarray*}$ .

Hier sieht man, das der Ausdruck wesentlich von der Basis bestimmt wird.
Um ihn unabhängig davon zu betrachten müsste ich $\begin{eqnarray*} b=1 \end{eqnarray*}$ wählen, dass geht aber nicht. Dennoch wäre das der genaueste Ansatz und du siehst, wie die Verteilung aussieht, abhängig von einer BASIS.

IMAO sollte man das stets so verstehen... und jetzt schaue mal meinen Post an, den ich gestern noch editiert habe. Bis dato nicht mehr EDITIERT.

11.04.2019, 11:20

HAL 9000

Auf diesen Beitrag antworten »

Die Argumentation

Zitat:

Original von HAL 9000
aber gibt es nicht vielleicht auch eine Vergleichsverteilung $\begin{eqnarray*} v^{(k)}\in D_k \end{eqnarray*}$ sowie einen reellen Proportionalitätsfaktor $\begin{eqnarray*} \beta_k \end{eqnarray*}$ , so dass in Analogie von (2) die Gleichung

$\begin{eqnarray*} KL\left(h,v^{(k)}\right) \stackrel{?}{=} \beta_k H(h) \end{eqnarray*}$ für alle $\begin{eqnarray*} h\in D_k \end{eqnarray*}$

gilt? Die Antwort ist ein klares NEIN, mit folgender Begründung: Wie man unschwer nachrechnet, gilt speziell für $\begin{eqnarray*} h=v^{(k)} \end{eqnarray*}$ dann $\begin{eqnarray*} KL\left(h,v^{(k)}\right)=KL\left(v^{(k)},v^{(k)}\right)=0 \end{eqnarray*}$ während aber ja $\begin{eqnarray*} H(h)=H\left(v^{(k)}\right)>0 \end{eqnarray*}$ gilt. Das führt unweigerlich zu Proportionalitätsfaktor $\begin{eqnarray*} \beta_k=0 \end{eqnarray*}$ und damit der Forderung $\begin{eqnarray*} KL\left(h,v^{(k)}\right)=0 \end{eqnarray*}$ für alle $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ .

bleibt völlig dieselbe, ganz egal welche Logarithmenbasen du bei $\begin{eqnarray*} H \end{eqnarray*}$ oder $\begin{eqnarray*} KL \end{eqnarray*}$ verwendest, von mir aus sogar verschiedene! Eine andere Basis bewirkt lediglich einen anderen Vorfaktor vor der Gesamtentropie, aber $\begin{eqnarray*} KL\left(v^{(k)},v^{(k)}\right)=0 \end{eqnarray*}$ bleibt 0, egal mit welchem anderen Faktor du das noch durchmultiplizieren willst. unglücklich

unglücklich

Aber machen wir es kurz, wenn du schon meine Argumente oben nicht akzeptierst: Nenne mir mit deiner anderen Logarithmenbasis (von mir aus $\begin{eqnarray*} b=\frac{1}{k} \end{eqnarray*}$ oder was auch immer) eine konkrete Vergleichsverteilung $\begin{eqnarray*} v\in D_k \end{eqnarray*}$ , so dass für alle $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ die fragliche Gleichheit

$\begin{eqnarray*} KL\left(h,v\right) \stackrel{?}{=} \beta_k H(h)\qquad (*) \end{eqnarray*}$

gilt! Wie du sagst sogar mit echter Gleichheit (also $\begin{eqnarray*} \beta_k=1 \end{eqnarray*}$ ), aber ich bin auch bereit, jede andere reelle Zahl $\begin{eqnarray*} \beta_k \end{eqnarray*}$ zu akzeptieren, solange sie nicht gerade von $\begin{eqnarray*} h \end{eqnarray*}$ abhängt. Wenn du das tust, dann bin ich auch bereit, das nachzurechnen und biete ein umfassendes "Mea culpa", falls (*) dann hinhaut. Augenzwinkern

Augenzwinkern

Deine Rechnung von gerade eben taugt dazu nicht, da du da ja nur den Spezialfall $\begin{eqnarray*} h_j=\frac{1}{k} \end{eqnarray*}$ (also Gleichverteilung) diskutierst - wír wollen aber, dass es für alle $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ gilt.

11.04.2019, 12:08

Romaxx

Auf diesen Beitrag antworten »

Noch einmal, die Entropie ist die relative Entropie zu einer anderen Basis, eben der Wahrscheinlichkeit $\begin{eqnarray*} \frac{1}{K} \end{eqnarray*}$ in diesem speziellen Fall.

Man kann allgemein zeigen, dass es die Basis $\begin{eqnarray*} b=\frac{p_i^2}{q_i} \end{eqnarray*}$ ist.

Wählst du $\begin{eqnarray*} q_i=p_i \end{eqnarray*}$ haben wir $\begin{eqnarray*} b=q_i=p_i=\frac{1}{K} \end{eqnarray*}$ .

Andersherum, hälst du die Basis flexibel, siehst du für die KL Divergenz die Wahrscheinlichkeit $\begin{eqnarray*} \frac{1}{Kb}=q_i=v \end{eqnarray*}$ , abhängig von einer Basis, siehe oben.

Das ist ungefähr so, wie wenn ich eine andere Basis in einem Vektorraum wähle.

Zusatz: Die Frage ist, in welcher Basis betrachte ich meine Verteilung, dann hast du deine Antwort zu dem Post.

11.04.2019, 12:11

HAL 9000

Auf diesen Beitrag antworten »

Beantwortest du bitte meine Frage?

Zitat:

Original von Romaxx
Andersherum, hälst du die Basis flexibel, siehst du für die KL Divergenz die Wahrscheinlichkeit $\begin{eqnarray*} \frac{1}{Kb}=q_i=v \end{eqnarray*}$

$\begin{eqnarray*} v \end{eqnarray*}$ ist ein Vektor, keine Zahl. Darf ich diesen Satz so deuten, dass du die "Gleichverteilung" mit den Komponenten $\begin{eqnarray*} v_i=\frac{1}{kb} \end{eqnarray*}$ wählen willst? Soweit waren wir doch schon mal: Dieses $\begin{eqnarray*} v \end{eqnarray*}$ ist im Fall $\begin{eqnarray*} b\neq 1 \end{eqnarray*}$ keine Wahrscheinlichkeitsverteilung, liegt also nicht in $\begin{eqnarray*} D_k \end{eqnarray*}$ , und ist damit für die Betrachtungen unzulässig! Du selbst hast doch oben

https://en.wikipedia.org/wiki/Kullback%E...bler_divergence

verlinkt, da steht es doch klipp und klar drin:

"For discrete probability distributions P and Q defined on the same probability space [...]"

Darüber kannst du dich nicht hinwegsetzen!

Und ich erinnere nochmal dran: In dem obigen Link ist klar vom natürlichen Logarithmus die Rede. Also nicht von einem Logarithmus mit einer anderen Basis $\begin{eqnarray*} b \end{eqnarray*}$ , und gleich gar nicht mit einer Basis, die pro Summand der KL-Funktion jeweils anders (?!?) ist. Letzteres ist ja ein übler Taschenspielertrick und hat nichts, aber auch gar nichts mehr mit der verlinkten KL-Definition zu tun. unglücklich

unglücklich

11.04.2019, 12:29

Romaxx

Auf diesen Beitrag antworten »

Die Entropie wird für eine Basis kleiner als 1 negative. Dabei ist die Definition der Basis erst einmal völlig flexibel, solange man weiß, welche Basis es ist, dennoch sollte man das nicht als selbstverständlich nehmen.

Du argumentierst so: die Basis ist 2, oder e, basta. Nur was antwortest du, wenn dich jemand fragt, wieso nicht 0.1 oder 78687? Darin unterscheiden wir uns und deswegen sieht meine Gleichverteilung so aus, wie sie aussieht.

11.04.2019, 12:30

HAL 9000

Auf diesen Beitrag antworten »

Weißt du was? Ich komme dir weitgehend entgegen und akzeptiere entgehen der oben verlinkten Definition (und wider jede Vernunft) sogar den Taschenspielertrick, d.h. du darfst nach Lust und Laune

$\begin{eqnarray*} KL(h,v) := -\sum_{j=1}^k h_j\log_{b_j}\left( \frac{v_j}{h_j}\right) \end{eqnarray*}$

definieren mit Basen $\begin{eqnarray*} b_j \end{eqnarray*}$ , die von sonstwas abhängen. Dennoch bleibt $\begin{eqnarray*} KL(v,v) = 0 \end{eqnarray*}$ auch nach dieser Definition ein nicht wegwischbares Faktum.

11.04.2019, 12:39

Romaxx

Auf diesen Beitrag antworten »

Ich warte aber immer noch auf eine Antwort, wie du die Basis in diesen Definitionen legitimierst - die bleibst du mir völlig aus..

11.04.2019, 13:40

HAL 9000

Auf diesen Beitrag antworten »

Ich komme dir entgegen und du erzählst wieder irgendwelches Zeug von "legitimieren" ? Ich weiß überhaupt nicht, was du damit sagen willst? Erstaunt1

Erstaunt1

Ist es denn so schwer zu begreifen, dass bei Definition

$\begin{eqnarray*} KL(h,v) := -\sum_{j=1}^k h_j\log_{b_j}\left( \frac{v_j}{h_j}\right) \end{eqnarray*}$

mit VÖLLIG FREI NACH DEINEM GUSTO WÄHLBAREN $\begin{eqnarray*} b_j \end{eqnarray*}$ dennoch immer

$\begin{eqnarray*} KL(v,v) = -\sum_{j=1}^k v_j\log_{b_j}\left( \frac{v_j}{v_j}\right) = -\sum_{j=1}^k v_j\log_{b_j}(1) = -\sum_{j=1}^k v_j\cdot 0 = 0 \end{eqnarray*}$

gilt??? Kann mal bitte jemand anderes diese Rechnung Romaxx erklären, mir scheint er sie ja nicht abzunehmen.

Aber wenn man mal den kleinen Finger reicht... vergessen wir das ganze: Arbeiten wir eben jetzt wieder streng nach deiner selbstgewählten Referenz von KL

https://en.wikipedia.org/wiki/Kullback%E...bler_divergence

d.h. $\begin{eqnarray*} KL(h,v) := -\sum_{j=1}^k h_k\ln\left( \frac{v_k}{h_k}\right) \end{eqnarray*}$ , und jetzt keine Ausreden mehr, ich will jetzt nach meiner ausgiebigen Vorleistung oben jetzt endlich mal klipp und klar eine Antwort auf

Zitat:

Original von HAL 9000
Nenne mir [...] eine konkrete Vergleichsverteilung $\begin{eqnarray*} v\in D_k \end{eqnarray*}$ , so dass für alle $\begin{eqnarray*} h\in D_k \end{eqnarray*}$ die fragliche Gleichheit

$\begin{eqnarray*} KL\left(h,v\right) \stackrel{?}{=} \beta_k H(h)\qquad (*) \end{eqnarray*}$

gilt!

Und jetzt kein "Nenn du mir erstmal..."-Unsinn, ich hab alle Vorleistungen gebracht, die nötig sind, dass du dich dieser Frage widmen kannst. Wenn du es nicht kannst, dann sag es doch einfach, dann können wir die Sache hier beenden.

Zitat:

Original von Romaxx
und deswegen sieht meine Gleichverteilung so aus, wie sie aussieht.

Hatte ich oben überlesen, deshalb zum gefühlt hundertsten Mal: Deine Gleichverteilung ist keine Gleichverteilung, sie ist nicht mal eine Wahrscheinlichkeitsverteilung, weil die Bedingung "Wahrscheinlichkeitssumme = 1" verletzt ist. Wie oft willst du das eigentlich noch ignorieren? Brauchst dich nicht zu wundern, wenn allein deswegen dich hier alle für einen Spinner halten. Und ja, es ist mir egal, wenn du dich darüber jetzt wieder echauffieren magst: Wer eine "eigene" Wahrscheinlichkeitsrechnung unter Umgehung wichtiger Regeln schaffft und damit meint, irgendwelche "Beweise" führen zu können, ist für mich ein Spinner.

11.04.2019, 13:58

Romaxx

Auf diesen Beitrag antworten »

Ich finde es toll, dass du mir entgegenkommst, aber warum ist das für dich eine Sache, die man mehr Wertschätzen muss, als andersherum. Jetzt noch einmal, vielen Dank dafür!

Nun:

$\begin{eqnarray*} KL(v,v) = -\sum_{j=1}^k v_j\log_{b_j}\left( \frac{v_j}{v_j}\right) = -\sum_{j=1}^k v_j\log_{b_j}(1) = -\sum_{j=1}^k v_j\cdot 0 = 0 \end{eqnarray*}$

Das nehme ich dir ab, nur habe ich:

$\begin{eqnarray*} KL(v,v) = \sum_{j=1}^k v_j\log_{b_j}\left( \frac{v_j}{v_j}b_j\right) = \sum_{j=1}^k v_j\log_{b_j}(b_j) = \sum_{j=1}^k v_j\cdot 1 = 1 \end{eqnarray*}$

Das ist der Unterschied.

Und jetzt mal mein voller Ernst:

Wenn du es nicht für nötig hältst meinen Post von Heute, 10:09 zu lesen, denn da steht es für den Fall desjenigen, der dieses Topic geöffnet hat - dann kann ich dir nicht helfen.

Ich zitiere deinen Post direkt nach meinem Post Heute, 10:09:

Zitat:

Wenn du das tust, dann bin ich auch bereit, das nachzurechnen und biete ein umfassendes "Mea culpa", falls (*) dann hinhaut. Augenzwinkern

Sorry, das du dich herablassen musst, dass nachzuvollziehen.

Beste Grüße

11.04.2019, 14:05

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Romaxx
$\begin{eqnarray*} KL(v,v) = \sum_{j=1}^k v_j\log_{b_j}\left( \frac{v_j}{v_j}b_j\right) = \sum_{j=1}^k v_j\log_{b_j}(b_j) = \sum_{j=1}^k v_j\cdot 1 = 1 \end{eqnarray*}$

Das ist der Unterschied.

Für mich ist es nichts weiter als eine falsch angewandte Definition

https://en.wikipedia.org/wiki/Kullback%E...bler_divergence

Da ist ja nicht nur die Logarithmenbasis anders, sondern du hast einen Faktor $\begin{eqnarray*} b_j \end{eqnarray*}$ ins Logarithmusargument hineingemogelt. Wenn du auf Grundlage von manipulierten Definitionen hier schlussfolgern willst, dann muss ich in Anlehnung an dein obiges Statement fragen: Hast du sie noch alle? ROFL

ROFL

Aber wenigstens hast du jetzt endlich mal gestanden, mit welchen desaströsen "Tricks" du zu arbeiten gedenkst. Ich bitte mal andere Boardteilnehmer zu bewerten, was sie von Romaxx' Umgang mit Definitionen halten.

11.04.2019, 14:06

Romaxx

Auf diesen Beitrag antworten »

Und eine Sache noch, mir ist es mittlerweile egal, was du noch zusagen hast - deine Einstellung mit Beleidungen um dich zu werfen ist asozial, dass sollte dir mal jemand sagen.

Leider Gottes hast du den Sachverhalt der Wahl der Basis eben nicht verstanden:

Zitat:

Ich weiß überhaupt nicht, was du damit sagen willst

11.04.2019, 14:09

HAL 9000

Auf diesen Beitrag antworten »

Das ist jetzt sowieso egal, was du hier noch von Einstellung usw. rumlaberst - du hast dich oben schwarz auf weiß als mathematische Nullnummer geoutet. Endlich festgenagelt ... puh, hat gedauert. Tanzen

Tanzen

11.04.2019, 14:13

Mathema

Auf diesen Beitrag antworten »

Damit ist dann wohl genug gesagt. Also - bevor es hier noch eskaliert - mache ich erstmal zu.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »