Shannon-Information

06.06.2008, 14:57

jentowncity

Shannon-Information

Hallo an alle!
Wir machen gerade zur Einführung in die statistischer Physik etwas Wahrscheinlichkeitstheorie und folgendes Problem bereitet mir Schwierigkeiten:

Zeigen Sie, dass unter allen eindimensionalen Wahrscheinlichkeitsverteilungen mit vorgegebener Standardabweichung $\begin{eqnarray*} \sigma^{2}=\int_{-\infty}^{\infty}~x^{2}p(x)~dx~ \end{eqnarray*}$ die Normalverteilung $\begin{eqnarray*} p(x)=\frac{1}{\sqrt{2\pi\sigma^{2}}}~e^{-\frac{x^{2}}{2\sigma^{2}} } \end{eqnarray*}$
die Shannon-Information (-Entropie) maximiert.

Also ich glaube es macht wenig Sinn für alle eindimensionalen Verteilungen die Shannon-Information $\begin{eqnarray*} S=\sum_{i}~p_{i}~ln\frac{1}{p_{i}}=\int_{-\infty}^{\infty}~p(x)~ln\frac{1}{p(x)}~dx \end{eqnarray*}$ einzeln zu berechnen un dann zu vergleichen was am größten ist.
Aber andererseits weiß ich nicht wie man das anders zeigen könnte... verwirrt

Kann mir jemand helfen?

06.06.2008, 17:04

Auf diesen Beitrag antworten »

Also mit so einer Gleichsetzung

Zitat:

Original von jentowncity
$\begin{eqnarray*} \sum_{i}~p_{i}~ln\frac{1}{p_{i}}=\int_{-\infty}^{\infty}~p(x)~ln\frac{1}{p(x)}~dx \end{eqnarray*}$

wäre ich ganz, ganz vorsichtig: Weil nämlich die rechts stehende differentielle Entropie auch nicht einfach durch Grenzübergang (etwa einer immer feiner werdenden Diskretisierung) aus der "normalen" diskreten Entropie links hervorgeht! Siehe z.B.

http://en.wikipedia.org/wiki/ Informatio...rential_entropy

Zur Sache an sich: Klingt nach einem Variationsproblem, und lässt sich so vielleicht auch lösen. Kann natürlich sein, dass ihr bereits irgendwelche Hilfsaussagen kennengelernt habt, die einen anderen, leichteren Weg ermöglichen. verwirrt

07.06.2008, 11:52

jentowncity

Auf diesen Beitrag antworten »

Danke Arthur!
Die Variationsrechnung liegt bei mir schon etwas zurück, deswegen komm ich an einer Stelle nicht weiter:
Also ich suche das Minimum der Funktion $\begin{eqnarray*} I(p)=\sum_{i=1}^N~p_{i}ln(p_{i}) \end{eqnarray*}$
also $\begin{eqnarray*} \delta I(p)=\sum_{i=1}^N~(ln(p_{i})+1)\delta p_{i}=0 \end{eqnarray*}$
meine Nebenbedingungen sind: $\begin{eqnarray*} \sum_{i=1}^N~p_{i}=1 \end{eqnarray*}$ und $\begin{eqnarray*} \sum_{i=1}^N~\delta p_{i}=0 \end{eqnarray*}$
also $\begin{eqnarray*} \delta I(p)=\sum_{i=1}^N~(ln(p_{i})+1+\lambda)\delta p_{i}=0 \end{eqnarray*}$
und daraus folgt, dass $\begin{eqnarray*} ln(p_{i})=-(1+\lambda)=const. \end{eqnarray*}$
also $\begin{eqnarray*} \sum_{i=1}^N~p_{i}=1=Np_{i}~~~ \end{eqnarray*}$ $\begin{eqnarray*} ~~\Rightarrow p_{i}=\frac{1}{N} \end{eqnarray*}$
Dies bedeutet aber nur, dass es eine Gleichverteilung ist.
Wie komm ich denn von hier zur Normalverteilung? Hat jemand einen Tip für mich, diese Lagrange-Methode ist bei mir schon etwas eingerostet...

07.06.2008, 15:43

Auf diesen Beitrag antworten »

Ok, behandeln wir wie von dir jetzt angegangen erstmal diskrete Verteilungen statt der eigentlich zu betrachtenden stetigen Verteilungen (wie erwähnt: es gibt da deutliche Unterschiede zwischen beiden Entropieauffassungen):

Dann hast du aber gerade eine wesentliche Nebenbedingung vergessen:

Zitat:

Original von jentowncity
Zeigen Sie, dass unter allen eindimensionalen Wahrscheinlichkeitsverteilungen mit vorgegebener Standardabweichung [...] die Shannon-Information (-Entropie) maximiert.

Die muss natürlich in das Minimierungsproblem mit rein!

07.06.2008, 16:21

jentowncity

Auf diesen Beitrag antworten »

Ja, hast Recht, an diese Bedingung hab ich noch nicht gedacht...
Aber dann wäre es sicherlich besser, wenn man stetige Verteilungen betrachtet, damit man diese Bedingung auch einbauen kann.
Mein Problem ist: ich weiß nicht wie ich das mit der Lagrange-Methode bei kontinuierlichen Problemen anwenden kann. Geht es so:
$\begin{eqnarray*} I(p(x))=\int_{-\infty}^{\infty}~p(x)ln(p(x))~dx \end{eqnarray*}$
$\begin{eqnarray*} \delta I=\int_{-\infty}^{\infty}~(ln(p(x))+1+\lambda)~\delta p(x)~dx =0~~??? \end{eqnarray*}$
Und wie geht man weiter vor? An welcher Stelle benutze ich die Bedingung mit der Standardabweichung?

Wie gesagt, es ist bei mir schon etwas her mit Lagrange. Deswegen wär ich für jede Hilfe sehr dankbar Hilfe

08.06.2008, 13:53

jentowncity

Auf diesen Beitrag antworten »

Ok, hab mir das jetzt nochmal genauer angesehen und hier ist meine Lösung:
$\begin{eqnarray*} L=-\int~p(x)ln(p(x)~dx+\lambda(\int~p(x)~dx-1)+\gamma(\int~x^{2}p(x)~dx-\sigma^{2}) \end{eqnarray*}$

$\begin{eqnarray*} \delta L= \int~(\lambda+\gamma x^{2}-1-ln(p))~\delta p~dx=0 \end{eqnarray*}$

$\begin{eqnarray*} \Rightarrow p(x)=e^{\lambda-1+\gamma x^{2}} \end{eqnarray*}$

NB 1: $\begin{eqnarray*} \int~p(x)~dx=\sqrt{\frac{\pi}{-\gamma}}e^{\lambda-1}=1~~~~\Rightarrow\gamma<0 \end{eqnarray*}$
NB 2: $\begin{eqnarray*} \sigma^{2}=\int~x^{2}p(x)~dx=\frac{-1}{2\gamma}\sqrt{\frac{\pi}{-\gamma}}e^{\lambda-1}=\frac{-1}{2\gamma}~~~\Rightarrow \gamma=\frac{-1}{2\sigma^{2}} \end{eqnarray*}$
Eingesetzt in NB 1:
$\begin{eqnarray*} \lambda-1=-ln(\sqrt{2\pi\sigma^{2}}) \end{eqnarray*}$

Und alles eingesetzt in p(x) ergibt die gesuchte Formel
$\begin{eqnarray*} p(x)=\frac{1}{\sqrt{2\pi\sigma^{2}}}~e^{-\frac{x^{2}}{2\sigma^{2}} } \end{eqnarray*}$

Ist alles richtig so? Und ist das jetzt damit gezeigt?

08.06.2008, 14:15

Auf diesen Beitrag antworten »

Ok, so richtig Ahnung von Variationsproblemen habe ich bisher nicht (bis auf das Wissen, für welche Art Problemen die angemessen ist, deshalb mein Hinweis oben). Aber soweit ich das nach kurzem Überfliegen der Grundlagen dieser Theorie (Euler-Lagrange-DGL) sagen kann, sieht das bei dir alles sehr, sehr gut aus. Freude

Und das Ergebnis entspricht ja auch den vorherigen Erwartungen, obwohl das natürlich kein mathematisches Argument ist - aber es beruhigt doch ungemein. Augenzwinkern

EDIT: Halt, eine Unstimmigkeit ist mir noch aufgefallen, aber vielleicht fehlt da noch was in der Problemstellung:

Zitat:

Zeigen Sie, dass unter allen eindimensionalen zentrierten (d.h. mit Erwartungswert Null) Wahrscheinlichkeitsverteilungen mit vorgegebener Standardabweichung $\begin{eqnarray*} \sigma^{2}=\int_{-\infty}^{\infty}~x^{2}p(x)~dx~ \end{eqnarray*}$ die Normalverteilung $\begin{eqnarray*} p(x)=\frac{1}{\sqrt{2\pi\sigma^{2}}}~e^{-\frac{x^{2}}{2\sigma^{2}} } \end{eqnarray*}$
die Shannon-Information (-Entropie) maximiert.

Ohne diese Zentrierungsbedingung lautet nämlich die Varianz

$\begin{eqnarray*} \sigma^2 = \int ~ (x-\mu)^2p(x) ~ \dd x \end{eqnarray*}$

mit Erwartungswert $\begin{eqnarray*} \mu \end{eqnarray*}$ , dann müsstest du deine obige Lagrangefunktion $\begin{eqnarray*} L \end{eqnarray*}$ entsprechend anpassen. Am Ergebnis ändert das aber nicht so umwerfend viel, außer dass eben beliebige (nicht nur zentrierte) Normalverteilungen als Lösung herauskommen.

08.06.2008, 14:33

jentowncity

Auf diesen Beitrag antworten »

Alles klar, danke für deine Hilfe Arthur!
Die Aufgabenstellung ist übrigens genauso wie ich sie geschrieben habe, aber ich glaube, dass Physiker das nicht so genau nehmen mit der Formulierung mathematischer Aufgaben Augenzwinkern

zumindest meine Professorin nicht...

MfG jentowncity

Neue Frage »

Antworten »

Shannon-Information

Verwandte Themen