Shannon Entropie Maxiumum -Beweis

Neue Frage »

Snexx_Math Auf diesen Beitrag antworten »
Shannon Entropie Maxiumum -Beweis
Hallo zusammen,

Ich hänge ab folgender Aufgabe total fest:

Shannon Entropie: und zusätzlich gelte :

Zu zeigen ist, dass die Entropie maximal wird für

Ich würde dies gerne mit der Jensen Gleichung für konvexe Funktionen beweisen:



Meine Überlegung war jetzt zuerst zu zeigen, dass:

Und dann einfach passend einsetzten und zeigen dass das Maximum rauskommt.
Allerdings komm ich alleine nicht weit und würde es gerne mit euch versuchen Augenzwinkern

LG

Snexx_Math
Huggy Auf diesen Beitrag antworten »
RE: Shannon Entropie Maxiumum -Beweis
Wenn einem die Ungleichung zwischen dem gewichteten arithmetischen und geometrischen Mittel

https://en.wikipedia.org/wiki/ Inequalit...equa<br /> lity

(siehe Punkt 7.1) zur Verfügung steht, ist die Sache trivial. Man betrachte einfach den Fall und .

Elementar kann man es so beweisen: Man halte alle fest bis auf 2. Das Maximum unter dieser Bedingung ergibt sich, wenn die beiden variablen gleich sind. Solange also irgend zwei der noch ungleich sind, kann man die Shannon-Entropie vergrößern, indem man diese gleich macht.
Snexx_Math Auf diesen Beitrag antworten »
RE: Shannon Entropie Maxiumum -Beweis
Leider steht die Ungleichung zwischen dem gewichteten arithmetischen und geometrischen Mittel nicht zur Verfügung :/

Diese Tatsache elementar zu bewiesen möchte ich auch eher meiden. Hatte schon so viel zur Jensen Gleichung überlegt und hatte auch das Gefühl immer kurz davor zu sein, es zu lösen.

Hat vielleicht noch jemand eine Idee für die Jensen Ungleichung ?
Man könnte ja f(x)=-log(x) wählen, dann hätte man schonmal eine konvexe Funktion.

Und erstmal vielen Dank für die Antwort @Huggy smile
HAL 9000 Auf diesen Beitrag antworten »

@Snexx_Math

Es geht auch Jensen, aber nicht mit den Gewichten wie bei dir, sondern



mit den Gewichten angewandt auf die streng konkave Funktion : Eingesetzt und mit multipliziert ergibt sich

.


EDIT: Das mit dem ln war natürlich ein Schreibfehler - korrigiert.
Snexx_Math Auf diesen Beitrag antworten »

Das habe ich sogar schon gesehen, dachte aber allerdings , da man am Ende verschieden Logarithmen dort stehen hat und die pi's ersetzt durch 1/n, das die Sache für mich unbrauchbar macht.

Wollte ja letztendlich einfach nur für meine pi's 1/n einsetzen und dann zeigen, dass dann log(n) rauskommt und somit die gleiche Wahl der pi's meine Entropie maximiert.
HAL 9000 Auf diesen Beitrag antworten »

Zitat:
Original von Snexx_Math
Wollte ja letztendlich einfach nur für meine pi's 1/n einsetzen und dann zeigen, dass dann log(n) rauskommt und somit die gleiche Wahl der pi's meine Entropie maximiert.

Das somit verstehe ich nicht: Inwiefern zeigt dieses "Einsetzen", dass log(n) das Maximum der Entropie ist? verwirrt

Generell weiß ich nicht, was ich mit deiner Antwort anfangen soll, klingt irgendwie nach "eigentlich interessiert mich ein solcher Beweis gar nicht".
 
 
Snexx_Math Auf diesen Beitrag antworten »

Zitat:
Original von HAL 9000

Das somit verstehe ich nicht: Inwiefern zeigt dieses "Einsetzen", dass log(n) das Maximum der Entropie ist? verwirrt

Generell weiß ich nicht, was ich mit deiner Antwort anfangen soll, klingt irgendwie nach "eigentlich interessiert mich ein solcher Beweis gar nicht".


Oh nein , im Gegenteil , gerade für den Beweis interessiere ich mich. Ich meinte mit den pi's einsetzen, dass wenn die Ungleichung dann bewiesen wurde , ich alle pi's auf 1/n setzte und dann die Summe ja gerade log(n) ergibt und wir durch die vorher bewiesene Ungleichung ja bereits wissen , dass wir für diese Wahl der pi's gerade das Maximum vorliegen haben.

Hoffe das war verständlicher.
Ich wende mich auch immer hier ans Forum , weil gerade der Beweis und die Idee dahinter mich interessieren und ich etwas lernen will. Sonst könnte ich nämlich auch einfach die Sachen googlen und abschreiben. Ich schätze nämlich die hohe Antwortenrate und Kompetenz der Leute hier smile
Snexx_Math Auf diesen Beitrag antworten »

Zitat:
Original von HAL 9000
.


EDIT: Das mit dem ln war natürlich ein Schreibfehler - korrigiert.


Mit , also so dass am Ende auf beiden Seiten der Ungleichung ln(x) steht funktioniert das ganze auch oder ?

sollte ja auch konkav sein.
HAL 9000 Auf diesen Beitrag antworten »

Ja, es funktioniert mit allen Logarithmen, solange sie auf beiden Seiten der Ungleichung die gleiche Basis haben.

Ich dachte nur, da es doch mutmaßlich um (Informations-)Entropie geht, dass du mit arbeiten willst.
Neue Frage »
Antworten »



Verwandte Themen

Die Beliebtesten »
Die Größten »
Die Neuesten »