Entropie

04.02.2013, 21:29

Anahita

Entropie

Hi

Folgende Aufgabenstellung war eine unserer Analysis Aufgaben der letzten Serien:

"Ein Versuch habe n mögliche Ergebnisse mit $\begin{eqnarray*} p_{k} \geq 0 \end{eqnarray*}$ , $\begin{eqnarray*} 1 \leq k \leq n \end{eqnarray*}$ wobei $\begin{eqnarray*} \sum\limits_{k=1}^n p_{k} = 1 \end{eqnarray*}$ .

Ein natürliches Mass für die Unsicherheit über den Ausgang des Versuches ist die Entropie

H = $\begin{eqnarray*} - \sum\limits_{k=1}^n p_{k} \log p_{k} \end{eqnarray*}$

Zeige: Die Ungewissheit ist am grössten, wenn alle Ergebnisse gleich wahrscheinlich sind."

- Meine Idee: Ich würde H einfach ableiten und gleich Null setzen. Da der negative Logarithmus eine konvexe Funktion ist, hätte ich damit gerade das Maximum der Funktion. Wenn ich dies mache, erhalte ich Folgendes:

$\begin{eqnarray*} n = - \sum\limits_{k=1}^n \log p_{k} \end{eqnarray*}$

stimmt das überhaupt...?

Vielen Dank
A

04.02.2013, 21:47

RavenOnJ

Auf diesen Beitrag antworten »

Du müsstest die Nebenbedingung noch einarbeiten. Am besten eine Lagrange-Funktion aufstellen und die dann maximieren.

04.02.2013, 21:49

Anahita

Auf diesen Beitrag antworten »

Hi!

Was ist denn die Lagrange Funktion? Das hatten wir noch gar nicht, und wenn ich google kommt da einiges smile

Und warum ginge es nicht, wenn man H ableitet, gleich null setzt und dann nach den p_i auflöst?

04.02.2013, 21:57

RavenOnJ

Auf diesen Beitrag antworten »

hi,

du hast die Nebenbedingung

$\begin{eqnarray*} \sum\limits_{k=1}^n p_k = 1 \Leftrightarrow \sum\limits_{k=1}^n p_k - 1 =0 \end{eqnarray*}$

Jetzt kann man eine Lagrange-Funktion aufstellen:

$\begin{eqnarray*} F(p_1,p_2,\cdots,p_n,\lambda) := H +\lambda( \sum\limits_{k=1}^n p_k - 1) = -\sum\limits_{k=1}^n p_k\ln(p_k) +\lambda( \sum\limits_{k=1}^n p_k - 1) \end{eqnarray*}$

Diese gilt es jetzt zu maximieren, wobei die partielle Ableitung nach dem Lagrange-Parameter $\begin{align*} \lambda \end{align*}$ nur wieder die Nebenbedingung liefert. Dann bekommst du als Lösung, dass alle $\begin{align*} p_k \end{align*}$ gleich sein müssen (was allerdings aus Symmetriegründen sowieso der Fall sein muss. Die Konkavität der Funktion liefert den Grund, dass es ein globales Maximum gibt (was allerdings für die Lösung dieses Problems irrelevant ist).).

04.02.2013, 22:28

URL

Auf diesen Beitrag antworten »

zum Thema "Maximalwert Entropie" hat komplexer vor kurzer Zeit einen Thread aufgemacht.
Dort gibt's zwei schöne Lösungen.

Ehe jemand fragt: Als nicht angemeldeter Benutzer darf ich keine URL posten
Grüße und wieder weg
URL Big Laugh

04.02.2013, 22:30

RavenOnJ

Auf diesen Beitrag antworten »

@URL Dann melde dich halt endlich mal an. Sachverstand ist immer zu gebrauchen Wink

05.02.2013, 00:11

Anahita

Auf diesen Beitrag antworten »

@URL

Danke!

Ich habe selber mittlerweile gesehen, dass man es mit der Jensenschen Ungleichung lösen kann, werde es aber auch noch mit RavenOnJ's Vorschlag probieren zu lösen.

05.02.2013, 10:38

Anahita

Auf diesen Beitrag antworten »

Hi!

Also zum Ansatz mit der Jensenschen Ungleichung:

- Annahme der Gleichverteilung <= > $\begin{eqnarray*} p_{k} =\frac{1}{n} \end{eqnarray*}$ für $\begin{eqnarray*} 1 \leq k \leq n \end{eqnarray*}$ , damit gilt H = $\begin{eqnarray*} - \sum\limits_{k=1}^n \frac{1}{n} \log \frac{1}{n} = \log n \end{eqnarray*}$ .

Zu zeigen ist nun dass für beliebige p_k welche die entsprechenden Bedingungen erfüllen gilt:

$\begin{eqnarray*} - \sum\limits_{k=1}^n p_{k} \log p_{k} \leq \log n \end{eqnarray*}$

Dies macht man in dem man von der Konvexität von -log n Gebrauch macht bzw. Jensen nutzt um zu zeigen dass $\begin{eqnarray*} - \log n \leq \sum\limits_{k=1}^n p_{k} \log p_{k} \end{eqnarray*}$

2. Zu dem Lösungsweg mit der Lagrange-Funktion:

Wenn man nach lambda ableitet erhält man wie du schon gesagt hast wieder die Nebenbedingung. Wenn ich nach den p_k ableite erhalte ich:

$\begin{eqnarray*} 0 = \sum\limits_{k=1}^n \log p_{k}+n \end{eqnarray*}$

verwirrt

05.02.2013, 10:44

RavenOnJ

Auf diesen Beitrag antworten »

Zitat:

Original von Anahita

2. Zu dem Lösungsweg mit der Lagrange-Funktion:

Wenn man nach lambda ableitet erhält man wie du schon gesagt hast wieder die Nebenbedingung. Wenn ich nach den p_k ableite erhalte ich:

$\begin{eqnarray*} 0 = \sum\limits_{k=1}^n \log p_{k}+n \end{eqnarray*}$

verwirrt

Es ist aber

$\begin{eqnarray*} \frac{\partial F}{\partial p_i} = -\ln(p_i)-1+\lambda = 0,\forall i \end{eqnarray*}$

05.02.2013, 11:37

Anahita

Auf diesen Beitrag antworten »

Stimmt..., danke!

Also haben wir nun:

$\begin{eqnarray*} \lambda = \log(p_{i}) + 1 \end{eqnarray*}$ für alle i.

und nun? Wir haben ja nur eine Gleichung mit zwei Unbekannten..?

05.02.2013, 12:27

RavenOnJ

Auf diesen Beitrag antworten »

Nein, wir haben n Gleichungen, die man zusammenfassen kann zu

$\begin{eqnarray*} \lambda - 1 = \ln(p_1) = \ln(p2)= \cdots =\ln(p_n) \end{eqnarray*}$

Da der Logarithmus eine streng monotone Funktion ist, müssen alle $\begin{align*} p_i \end{align*}$ gleich sein.

05.02.2013, 13:36

Anahita

Auf diesen Beitrag antworten »

verstanden, vielen dank!

Neue Frage »

Antworten »

Entropie

Verwandte Themen