Entropie

01.05.2011, 20:18	Gast11022013	Auf diesen Beitrag antworten »
Entropie Meine Frage: Die Entropie dient der Quantifizierung des Grades der Unsicherheit eines Ereignisses A. Alternativ kann man sie als Informationsgewinn bei einer Realisierung (Beobachtung) von A deuten. Sie ist eine Funktion H(p) der Wahrscheinlichkeit p=P(A) des Ereignisses A. Ist z.B. p=1, d.h., ist das Ereignis A sicher, dann liefert die Beobachtung von A keinen Informationsgewinn: Schon vorher war klar, dass A eintreten wird. Es gilt also: (E1) $\begin{eqnarray} H(1)=0 \end{eqnarray}$ Folgende weiteren Eigenschaften sind plausibel resp. wünschenswert: (E2) $\begin{eqnarray} H(p_1)<H(p_2) \end{eqnarray}$ , falls $\begin{eqnarray} 0<p_1<p_2\leq 1 \end{eqnarray}$ (E3) $\begin{eqnarray} H(p) \end{eqnarray}$ ist stetig für alle $\begin{eqnarray} 0<p\leq 1 \end{eqnarray}$ . (E4) $\begin{eqnarray} H(p_1\cdot p_2)=H(p_1)+H(p_2) \end{eqnarray}$ für alle $\begin{eqnarray} 0<p_1,p_2\leq 1 \end{eqnarray}$ (E5) $\begin{eqnarray} H(0,5)=1 \end{eqnarray}$ Zeigen Sie: Aus den Eigenschaften (E1) bis (E5) ergibt sich die Identität $\begin{eqnarray} H(p)=-\log_2(p) \end{eqnarray}$ . Hinweis: Zeigen Sie zunächst, dass für jedes $\begin{eqnarray} 0<p\leq 1 \end{eqnarray}$ und jede ganze Zahl $\begin{eqnarray} H(p^k)=kH(p) \end{eqnarray}$ . Folgern Sie daraus, dass $\begin{eqnarray} H(p^r)=rH(p) \end{eqnarray}$ für alle rationalen Zahlen r. Zeigen Sie dann, dass $\begin{eqnarray} h(x)=H(0,5^x)=x \end{eqnarray}$ für alle reellen Zahlen $\begin{eqnarray} x\geq 0 \end{eqnarray}$ . Meine Ideen: Ich versuche den Hinweis Schritt für Schritt zu berücksichtigen: Zunächst ist die Fragestellung m.E. ungenau, denn für negative ganze Zahlen macht das alles keinen Sinn bzw. man benötigt das gar nicht; ich beschränke mich daher auf die positiven ganzen Zahlen. Zu 1.) Beweis (für positive ganze Zahlen) per Induktion: Es ist nach (E4) $\begin{eqnarray} H(p^2)=H(p\cdot p)=H(p)+H(p)=2H(p) \end{eqnarray}$ . Die Behauptung gelte für $\begin{eqnarray} p^k \end{eqnarray}$ . $\begin{eqnarray} H(p^{k+1})=H(p^k\cdot p)=H(p^k)+H(p)=kH(p)+H(p)=(k+1)H(p) \end{eqnarray}$ $\begin{eqnarray} \Rightarrow \end{eqnarray}$ $\begin{eqnarray} H(p^k)=kH(p) \end{eqnarray}$ für jedes $\begin{eqnarray} 0<p\leq 1 \end{eqnarray}$ und jede positive ganze Zahl. 2.) Folgere, dass $\begin{eqnarray} H(p^r)=rH(p) \end{eqnarray}$ für alle rationalen Zahlen r- 3.) Zeige, dass $\begin{eqnarray} h(x)=H(0,5^x)=x \end{eqnarray}$ für alle reellen Zahlen $\begin{eqnarray} x\geq 0 \end{eqnarray}$ . Das wäre meine Idee zu 1.). Fehlen noch 2.) und 3.).
02.05.2011, 16:15	Gast11022013	Auf diesen Beitrag antworten »
Zu 2.): Sei $\begin{eqnarray} r=\frac{z}{n},z\in \mathbb Z, n\in \mathbb N \end{eqnarray}$ eine rationale Zahl. Zeigen muss man, dass $\begin{eqnarray} H(p^{\frac{z}{n}})=\frac{z}{n}\cdot H(p) \end{eqnarray}$ . Zunächst zeige man, dass für $\begin{eqnarray} \omega:=p^{\frac{1}{n}} \end{eqnarray}$ gilt: $\begin{eqnarray} H(\omega)=\frac{1}{n}\cdot H(p) \end{eqnarray}$ Dazu zeige $\begin{eqnarray} n\cdot H(\omega)=H(p) \end{eqnarray}$ : $\begin{eqnarray} n\cdot H(\omega)=n\cdot H(p^{\frac{1}{n}})=H(p^{\frac{n}{n}})=H(p) \end{eqnarray}$ Das geht, weil n eine positive ganze Zahl ist (und dafür darf man das in die Klammer ziehen, da oben bewiesen) und $\begin{eqnarray} 0<\omega\leq 1 \end{eqnarray}$ Für eine beliebe rationale Zahl muss dann einfach noch mit $\begin{eqnarray} k\in \mathbb Z \end{eqnarray}$ multipliziert werden und das funktioniert ebenfalls nach 1.). Fehlt noch 3.).
02.05.2011, 23:53	Gast11022013	Auf diesen Beitrag antworten »
Zu 3.): Bekanntlich stimmen zwei stetige Funktionen, die auf einer dichten Teilmenge einer Menge übereinstimmen, dann auch auf der ganzen Menge überein. Sei eine dieser stetigen Funktionen das $\begin{eqnarray} h(x)=x, x\mapsto x \end{eqnarray}$ . Die andere stetige Funktion sei $\begin{eqnarray} x\mapsto H(0,5^x) \end{eqnarray}$ . Nach Obigem gilt für $\begin{eqnarray} x\in \mathbb Q \end{eqnarray}$ : $\begin{eqnarray} H(0,5^x)=x\cdot H(0,5)=x\cdot 1=x \end{eqnarray}$ Das bedeutet, $\begin{eqnarray} h(x) \end{eqnarray}$ und $\begin{eqnarray} H(0,5^x) \end{eqnarray}$ , zwei stetige Funktionen, stimmen auf $\begin{eqnarray} \mathbb Q \cap \mathbb R^+ \end{eqnarray}$ , einer dichten Teilmenge von $\begin{eqnarray} \mathbb R^+ \end{eqnarray}$ überein. Das bedeutet aber, wie eingangs erwähnt, dass sie für alle $\begin{eqnarray} x\in \mathbb R, x\geq 0 \end{eqnarray}$ identisch sind. Die Identität gilt also für alle $\begin{eqnarray} x\in \mathbb R_0^+ \end{eqnarray}$ . Setze nun $\begin{eqnarray} x=-\log_2(p) \end{eqnarray}$ ein. Dann gilt: $\begin{eqnarray} H(\underbrace{0,5^{-\log_2(p)}}_{=p})=x=-\log_2(p) \end{eqnarray}$ , was zu zeigen war. $\begin{eqnarray} \Box \end{eqnarray}$ So, dies war nun mein Beweis, den ich leider in drei Beiträge aufgeteilt habe. Entschuldigung dafür. Ich denke, dass es trotzdem noch übersichtlich ist. Ich würde mich freuen, wenn ich eine Antwort, eine Korrektur etc. erhalten würde! Vielen lieben Dank!
11.05.2011, 11:10	Shalec	Auf diesen Beitrag antworten »
moin. dein beweis zu 1. sieht gut aus hättest auch einfach so folgern können: Körperaxiome anwenden => $\begin{eqnarray} H(p^k)=H(\underbrace{p\cdot p\cdot...\cdot p}_{k-fach}) \overset{E4}{=} \underbrace{H(p)+H(p)+...+H(p)}_{k-fach}=kH(p) \end{eqnarray}$ wäre ein wenig kürzer und gelte ebenfalls für alle p in (0,1] c IR. zu 2. Gehe von etwas aus, dass nach den Regeln sowieso gilt.. $\begin{eqnarray} H(p)=H(p^{\frac{m}{m}}) = H((p^{\frac{1}{m})^{m}})=m\cdot H(p^{\frac{1}{m}})\quad \forall m\in\mathbb Z \end{eqnarray}$ könntest du nun den rationalen Exponenten nicht rausziehen, hätteste einen Widerspruch zum Ausgang und zu den geforderten Eigenschaften. Damit folgert die Teilbehauptung 2 direkt. zu 3. Da dies für rationale x gilt und deine funktion stetig auf diesem Intervall ist, gilt deine Teilbehauptung auch für reelle x, anderenfalls gäbe es einen Widerspruch zur Eigenschaft 3. und die Identität hast du richtig und kurz gezeigt lg PS.: Dies soll jetzt nicht heißen, dass deine lösungen falsch sind, nein.. eher ein Vorschlag zur alternativen Lösung. ~~etwas kürzer
11.05.2011, 11:25	Gast11022013	Auf diesen Beitrag antworten »
Das finde ich sehr toll, danke!

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »