Shannon Entropie Maxiumum -Beweis |
24.10.2018, 14:12 | Snexx_Math | Auf diesen Beitrag antworten » | ||
Shannon Entropie Maxiumum -Beweis Ich hänge ab folgender Aufgabe total fest: Shannon Entropie: und zusätzlich gelte : Zu zeigen ist, dass die Entropie maximal wird für Ich würde dies gerne mit der Jensen Gleichung für konvexe Funktionen beweisen: Meine Überlegung war jetzt zuerst zu zeigen, dass: Und dann einfach passend einsetzten und zeigen dass das Maximum rauskommt. Allerdings komm ich alleine nicht weit und würde es gerne mit euch versuchen LG Snexx_Math |
||||
24.10.2018, 18:00 | Huggy | Auf diesen Beitrag antworten » | ||
RE: Shannon Entropie Maxiumum -Beweis Wenn einem die Ungleichung zwischen dem gewichteten arithmetischen und geometrischen Mittel https://en.wikipedia.org/wiki/ Inequalit...equa<br /> lity (siehe Punkt 7.1) zur Verfügung steht, ist die Sache trivial. Man betrachte einfach den Fall und . Elementar kann man es so beweisen: Man halte alle fest bis auf 2. Das Maximum unter dieser Bedingung ergibt sich, wenn die beiden variablen gleich sind. Solange also irgend zwei der noch ungleich sind, kann man die Shannon-Entropie vergrößern, indem man diese gleich macht. |
||||
24.10.2018, 18:18 | Snexx_Math | Auf diesen Beitrag antworten » | ||
RE: Shannon Entropie Maxiumum -Beweis Leider steht die Ungleichung zwischen dem gewichteten arithmetischen und geometrischen Mittel nicht zur Verfügung :/ Diese Tatsache elementar zu bewiesen möchte ich auch eher meiden. Hatte schon so viel zur Jensen Gleichung überlegt und hatte auch das Gefühl immer kurz davor zu sein, es zu lösen. Hat vielleicht noch jemand eine Idee für die Jensen Ungleichung ? Man könnte ja f(x)=-log(x) wählen, dann hätte man schonmal eine konvexe Funktion. Und erstmal vielen Dank für die Antwort @Huggy |
||||
24.10.2018, 18:19 | HAL 9000 | Auf diesen Beitrag antworten » | ||
@Snexx_Math Es geht auch Jensen, aber nicht mit den Gewichten wie bei dir, sondern mit den Gewichten angewandt auf die streng konkave Funktion : Eingesetzt und mit multipliziert ergibt sich . EDIT: Das mit dem ln war natürlich ein Schreibfehler - korrigiert. |
||||
24.10.2018, 18:36 | Snexx_Math | Auf diesen Beitrag antworten » | ||
Das habe ich sogar schon gesehen, dachte aber allerdings , da man am Ende verschieden Logarithmen dort stehen hat und die pi's ersetzt durch 1/n, das die Sache für mich unbrauchbar macht. Wollte ja letztendlich einfach nur für meine pi's 1/n einsetzen und dann zeigen, dass dann log(n) rauskommt und somit die gleiche Wahl der pi's meine Entropie maximiert. |
||||
24.10.2018, 18:48 | HAL 9000 | Auf diesen Beitrag antworten » | ||
Das somit verstehe ich nicht: Inwiefern zeigt dieses "Einsetzen", dass log(n) das Maximum der Entropie ist? Generell weiß ich nicht, was ich mit deiner Antwort anfangen soll, klingt irgendwie nach "eigentlich interessiert mich ein solcher Beweis gar nicht". |
||||
Anzeige | ||||
|
||||
24.10.2018, 19:24 | Snexx_Math | Auf diesen Beitrag antworten » | ||
Oh nein , im Gegenteil , gerade für den Beweis interessiere ich mich. Ich meinte mit den pi's einsetzen, dass wenn die Ungleichung dann bewiesen wurde , ich alle pi's auf 1/n setzte und dann die Summe ja gerade log(n) ergibt und wir durch die vorher bewiesene Ungleichung ja bereits wissen , dass wir für diese Wahl der pi's gerade das Maximum vorliegen haben. Hoffe das war verständlicher. Ich wende mich auch immer hier ans Forum , weil gerade der Beweis und die Idee dahinter mich interessieren und ich etwas lernen will. Sonst könnte ich nämlich auch einfach die Sachen googlen und abschreiben. Ich schätze nämlich die hohe Antwortenrate und Kompetenz der Leute hier |
||||
25.10.2018, 08:31 | Snexx_Math | Auf diesen Beitrag antworten » | ||
Mit , also so dass am Ende auf beiden Seiten der Ungleichung ln(x) steht funktioniert das ganze auch oder ? sollte ja auch konkav sein. |
||||
25.10.2018, 09:14 | HAL 9000 | Auf diesen Beitrag antworten » | ||
Ja, es funktioniert mit allen Logarithmen, solange sie auf beiden Seiten der Ungleichung die gleiche Basis haben. Ich dachte nur, da es doch mutmaßlich um (Informations-)Entropie geht, dass du mit arbeiten willst. |
|
Verwandte Themen
Die Beliebtesten » |
|
Die Größten » |
|
Die Neuesten » |
|