Wahrscheinlichkeitsverteilung aus Erwartungswert?

07.05.2013, 15:49

Physik_Studi

Wahrscheinlichkeitsverteilung aus Erwartungswert?

Hallo!

Folgende Aufgabe:

Es ist ein gezinkter Würfel gegeben. Die Wahrscheinlichkeitsverteilung $\begin{eqnarray*} P_i \end{eqnarray*}$ sei unbekannt. Was bekannt ist, ist der Erwartungswert der Augenzahl und ist: $\begin{eqnarray*} <M^1> = 4,5 \end{eqnarray*}$ (Was bedeutet die 1 im Index?).

Aufgabe: Die Wahrscheinlichkeitsverteilung $\begin{eqnarray*} P_i \end{eqnarray*}$ bestimmen unter der Voraussetzung vorurteilsfreier Schätzung.

Als Hinweis ist gegeben, eine Variation mit Nebenbedingungen durchzuführen, um zuerst eine Gleichung für die Wahrscheinlichkeit $\begin{eqnarray*} p_i = exp(\phi(\lambda_1 - \lambda_2 n_i)) \end{eqnarray*}$ für die Augenzahl $\begin{eqnarray*} n_i \end{eqnarray*}$ zu erhalten.

Anschließend soll die Shannon-Information der Wahrscheinlichkeitsverteilung berechnet werden.

So. Das ist eine Aufgabe aus der statistischen Physik. Als Physiker gibt's allerdings in den dedizierten Mathevorlesungen 0 Stochastik. Das heißt, mein Wissen auf dem Gebiet ist auf Oberstufenniveau und die 2 Seiten im Skript sind nicht unbedingt hilfreich. Möchte vielleicht jemand die Aufgabe mit mir Schritt für Schritt lösen? Ich habe da nicht mal einen Ansatz. Ich wäre sehr dankbar.

07.05.2013, 16:30

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Physik_Studi
Als Physiker gibt's allerdings in den dedizierten Mathevorlesungen 0 Stochastik. Das heißt, mein Wissen auf dem Gebiet ist auf Oberstufenniveau und die 2 Seiten im Skript sind nicht unbedingt hilfreich.

Vom Begriff "vorurteilksfreie Schätzung" habe ich vorher noch nie gehört. Und wenn ich das bei Google eintippe, lande ich ausschließlich bei Physik- bzw. physiknahen Seiten... verwirrt

07.05.2013, 19:24

Huggy

Auf diesen Beitrag antworten »

Zitat:

Original von HAL 9000
Vom Begriff "vorurteilksfreie Schätzung" habe ich vorher noch nie gehört. Und wenn ich das bei Google eintippe, lande ich ausschließlich bei Physik- bzw. physiknahen Seiten... verwirrt

Wenn ich mir die Seiten anschaue, ergibt sich die Vermutung, dass damit die Verteilungsfunktion gemeint ist, die die Shannonentropie maximiert. Damit wäre das Problem auf die Bestimmung eines Extremwertes einer Funktion unter Nebenbedingungen zurückgeführt und sollte keine besonderen Probleme bieten.

07.05.2013, 22:08

Physik_Studi

Auf diesen Beitrag antworten »

Zitat:

Original von Huggy

Zitat:

Das hört sich doch relativ richtig an. Aber ein Ansatz fehlt mir dennoch. Außer dass die Shannon-Entropie als $\begin{eqnarray*} I = - \sum\limits_{n=1}^N p_n log_2 p_n \end{eqnarray*}$ definiert ist, blicke ich da immer noch nicht so ganz durch.

07.05.2013, 22:26

Physik_Studi

Auf diesen Beitrag antworten »

Also mal konkret gefragt. Die Shannon-Entropie zu maximieren ist ja kein Problem. Mit der Nebenbedingung: $\begin{eqnarray*} \sum\limits_{n=1} p_n = 1 \end{eqnarray*}$ und der Methode der Lagrange-Multiplikatoren erhält man $\begin{eqnarray*} p_n = \frac{1}{N} \end{eqnarray*}$ als Ergebnis. Also ist die Entropie bei Gleichverteilung maximal. Aber wie geht's jetzt weiter bzgl. der konkreten Würfelaufgabe. verwirrt

08.05.2013, 07:38

HAL 9000

Auf diesen Beitrag antworten »

Das $\begin{eqnarray*} m \end{eqnarray*}$ -te Moment deiner Würfelverteilung (mit $\begin{eqnarray*} N \end{eqnarray*}$ Seiten) ist ja

$\begin{eqnarray*} \langle M^m \rangle = \sum_{n=1}^N n^m p_n \end{eqnarray*}$

insofern bedeutet deine Bedingung $\begin{eqnarray*} \langle M^1 \rangle = 4.5 \end{eqnarray*}$ dann eine zweite Nebenbedingung

$\begin{eqnarray*} \sum_{n=1}^N n p_n = 4.5 \end{eqnarray*}$ ,

wobei wohl $\begin{eqnarray*} N=6 \end{eqnarray*}$ (d.h. "normaler" Würfel) anzunehmen ist.

08.05.2013, 07:39

Huggy

Auf diesen Beitrag antworten »

Du hast eine zweite Nebenbedingung zu beachten, nämlich dass der Erwartungswert der Augenzahlen 4,5 ist. Diese Nebenbedingung wäre ja bei der Gleichverteilung nicht erfüllt. Also beide Nebenbedingungen mit Lagrange-Multiplikatoren berücksichtigen.

Edit: Guten Morgen HAL. Hatte deine Antwort noch nicht gesehen.

09.05.2013, 14:11

Physik_Studi

Auf diesen Beitrag antworten »

Super ihr beiden, ich verstehe das Prinzip jetzt auf jeden Fall besser jetzt. Freude

Aber es hakt immer noch an einigen Stellen beim konkreten Rechnen. Kurz zusammengefasst bisher:

Ausgangsfunktion (Shannon-Entropie):

$\begin{eqnarray*} I(p_i) = - \sum\limits_{i=1}^N p_i ln(p_i) \end{eqnarray*}$

Nebenbedingung 1: $\begin{eqnarray*} \sum\limits_{i=1}^N p_i -1 = 0 \end{eqnarray*}$

Nebenbedingung 2: $\begin{eqnarray*} \sum\limits_{i=1}^N n_i p_i -4,5 = 0 \end{eqnarray*}$

Dann habe ich jetzt angesetzt:

$\begin{eqnarray*} \frac{\partial}{\partial p_j} I(p_i) = \lambda_1 \frac{\partial}{\partial p_j} \text{NB1} + \lambda_2 \frac{\partial}{\partial p_j} \text{NB2} \end{eqnarray*}$

Ich komme dann auf folgenden Ausdruck, wenn ich das soweit ausrechne:

$\begin{eqnarray*} p_i = e^{-1 - \lambda_1 - \lambda_2 n_i} \end{eqnarray*}$

Das müsste soweit stimmen, da ja auch in der Aufgabenstellung (siehe Eröffnungspost) so eine Form von e-Funktion als Tipp angegeben ist für $\begin{eqnarray*} p_i \end{eqnarray*}$ .

Beim nächsten Schritt hakts dann aber. Ich würde das jetzt gerne in eine der beiden Nebenbedingungen einsetzen, das würde mich aber nicht weiterbringen. Der Ausdruck vereinfacht sich einfach nicht (oder ich sehe es nicht). Irgendwelche Tipps?

09.05.2013, 14:39

Huggy

Auf diesen Beitrag antworten »

Kleine Korrektur: Die zweite Nebenbedingung sollte lauten:

$\begin{eqnarray*} \sum\limits_{i=1}^N i p_i -4,5 = 0 \end{eqnarray*}$

Zumindest gehe ich davon aus, dass die Augenzahlen des Würfels gerade 1, 2, ..., 6 sein sollen. Nach dieser Korrektur sollte das Einsetzen in die Nebenbedingungen dich schon weiter bringen.

09.05.2013, 15:05

Physik_Studi

Auf diesen Beitrag antworten »

Zitat:

Original von Huggy
Kleine Korrektur: Die zweite Nebenbedingung sollte lauten:

$\begin{eqnarray*} \sum\limits_{i=1}^N i p_i -4,5 = 0 \end{eqnarray*}$

Zumindest gehe ich davon aus, dass die Augenzahlen des Würfels gerade 1, 2, ..., 6 sein sollen. Nach dieser Korrektur sollte das Einsetzen in die Nebenbedingungen dich schon weiter bringen.

Das hatte ich eigentlich im Hinterkopf. Also $\begin{eqnarray*} n_i = i \end{eqnarray*}$ für einen Würfel, bei dem die Zufallsvariable $\begin{eqnarray*} X(\omega) = \omega \end{eqnarray*}$ gilt. Aber ich sehe beim besten Willen nicht, wie ich damit weiterkomme:

$\begin{eqnarray*} \sum\limits_{i=1}^N i p_i -4,5 = 0 \end{eqnarray*}$

$\begin{eqnarray*} \Leftrightarrow \end{eqnarray*}$

$\begin{eqnarray*} 1 e^{-1 - \lambda_1 - \lambda_2} + 2 e^{-1 - \lambda_1 - \lambda_2 2} + 3 e^{-1 - \lambda_1 - \lambda_2 3} + 4 e^{-1 - \lambda_1 - \lambda_2 4} + 5 e^{-1 - \lambda_1 - \lambda_2 5} + 6 e^{-1 - \lambda_1 - \lambda_2 6} - 4,5 = 0 \end{eqnarray*}$

Ich könnte höchstens die E-Funktionen als Produkte schreiben und folgendermaßen ausklammern:

$\begin{eqnarray*} e^{-1}e^{-\lambda_1} [1 e^{-\lambda_2} + 2 e^{-2\lambda_2} + 3 e^{-3\lambda_2} + ... + 6 e^{-6\lambda_2}] - 4,5 = 0 \end{eqnarray*}$

Irgendeinen Trick übersehe ich hier doch. verwirrt

09.05.2013, 15:27

Huggy

Auf diesen Beitrag antworten »

Kleiner Anfall von Betriebsblindheit? Es ist ja so weit alles richtig! Aufgrund notorischer Tippfaulheit nenne ich die Multiplikatoren $\begin{eqnarray*} \lambda \end{eqnarray*}$ und $\begin{eqnarray*} \mu \end{eqnarray*}$ . Nach Einsetzen in die beiden Nebenbedingungen hat man:

$\begin{eqnarray*} e^{-\lambda -1}\sum_{i=1}^6 e^{-i\mu}=1 \end{eqnarray*}$

$\begin{eqnarray*} e^{-\lambda -1}\sum_{i=1}^6 ie^{-i\mu}=4.5 \end{eqnarray*}$

Siehst du jetzt, wie man $\begin{eqnarray*} \lambda \end{eqnarray*}$ aus den beiden Gleichungen eliminieren kann? Wenn man dann noch

$\begin{eqnarray*} e^{-i\mu}=(e^{-\mu})^i \end{eqnarray*}$

beachtet und

$\begin{eqnarray*} x=e^{-\mu} \end{eqnarray*}$

setzt, verbleibt eine Polynomgleichung in x, die man vermutlich numerisch lösen muss. Es würde mich jedenfalls wundern, wenn die Gleichung zu den Ausnahmen gehört, die eine Lösung mit geschachtelten Wurzeln erlaubt.

09.05.2013, 16:04

Physik_Studi

Auf diesen Beitrag antworten »

Tja, manchmal sieht man den Wald vor lauter Bäumen nicht. Gleichsetzungsverfahren und schon hat man's doch. Gott