ML-Schätzer geometrische Verteilung

13.11.2017, 17:05

Fredolin

ML-Schätzer geometrische Verteilung

Gegeben ist eine geometrische Verteilung (Wiederholung eines Bernoulli-Exp. mit Erfolgswahrscheinlichkeit $\begin{eqnarray*} p \end{eqnarray*}$ bis zum ersten Erfolg). Gesucht ist der ML-Schätzer $\begin{eqnarray*} \hat p \end{eqnarray*}$ von $\begin{eqnarray*} p \end{eqnarray*}$ und seine Erwartung.

Mein Ansatz:
Aus der gemeinsamen Dichte der Stichprobe vom Umfang $\begin{eqnarray*} m \end{eqnarray*}$

$\begin{eqnarray*} g(n_1,...,n_m|p) = \prod_{i=1}^{m} (1-p)^{n_i} p \end{eqnarray*}$

komme ich nach etwas herumrechnen auf

$\begin{eqnarray*} \hat p = \frac{m}{m+\sum_{i=1}^{m} n_i}\,, \end{eqnarray*}$

was plausibel aussieht.

Was den "Erwartungswert des Schätzers" betrifft bin ich mir nicht sicher ob ich die Grundlage richtig verstanden habe. Ich stelle mir das so vor: ich wiederhole mein Experiment bis ich den ersten Erfolg habe z.B. $\begin{eqnarray*} m=5 \end{eqnarray*}$ -mal, und bilde daraus ein $\begin{eqnarray*} \hat p \end{eqnarray*}$ . Das Ganze wiederhole ich z.B. $\begin{eqnarray*} s \end{eqnarray*}$ -mal, und erhalte so verschiedene Werte $\begin{eqnarray*} \hat {p}_j, \, j=1,...,s \end{eqnarray*}$ . Gesucht ist nun der Erwartungswert der Verteilung dieser Werte $\begin{eqnarray*} \hat {p}_j \end{eqnarray*}$ . Also

$\begin{eqnarray*} \frac{1}{s}\sum_{j=1}^{s} \hat {p}_j \end{eqnarray*}$ ?

13.11.2017, 17:12

HAL 9000

Auf diesen Beitrag antworten »

Nein, wieso machst du denn sowas??? Du bekommst jedesmal ein $\begin{align*} n_i \end{align*}$ , und rechnest erst ganz am Ende den Wert

$\begin{align*} \hat{p} = \frac{m}{m+\sum\limits_{i=1}^{m} n_i} = \frac{1}{1+\bar{n}} \end{align*}$

heraus, letztere Darstellung mit dem Stichprobenmittelwert $\begin{align*} \bar{n}=\frac{1}{m}\sum_{i=1}^{m} n_i \end{align*}$ deiner Stichprobe $\begin{align*} (n_1,n_2,\ldots,n_m) \end{align*}$ .

13.11.2017, 17:28

Fredolin

Auf diesen Beitrag antworten »

Erwartungswert Schätzfunktion
OK, das mit dem $\begin{eqnarray*} s \end{eqnarray*}$ ist offenbar Unsinn. Also habe ich $\begin{eqnarray*} m \end{eqnarray*}$ Stichprobenwerte. Und was ist nun der Erwartungswert des Schätzers? Ich dachte mit $\begin{eqnarray*} m \rightarrow \infty \end{eqnarray*}$ sollte dann $\begin{eqnarray*} \hat p \end{eqnarray*}$ gegen das wahre unbekannte $\begin{eqnarray*} p \end{eqnarray*}$ gehen, bzw. in diesem Fall eben offenbar nicht. Aber wie rechne ich das bzw. was ist der Ansatz?

Bin grad durcheinander gekommen mit den Formeln

$\begin{eqnarray*} E[X] = \frac{1}{n}\sum_i X_i \end{eqnarray*}$

und

$\begin{eqnarray*} E[X] = \sum_k k f_X(k) \end{eqnarray*}$

verwirrt

13.11.2017, 17:45

Domschke

Auf diesen Beitrag antworten »

Ich glaube mir ist die Lösung gerade am Heimweg eingefallen. Ich erlaube mir sie zur Kontrolle hier zu posten wenn ich sie niedergeschrieben habe.

13.11.2017, 19:20

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Fredolin
Ich dachte mit $\begin{eqnarray*} m \rightarrow \infty \end{eqnarray*}$ sollte dann $\begin{eqnarray*} \hat p \end{eqnarray*}$ gegen das wahre unbekannte $\begin{eqnarray*} p \end{eqnarray*}$ gehen, bzw. in diesem Fall eben offenbar nicht.

"Offenbar" liegst du damit falsch.

13.11.2017, 21:19

Domschke

Auf diesen Beitrag antworten »

Hoppla, falscher Thread. Sorry!

14.11.2017, 17:17

Fredolin

Auf diesen Beitrag antworten »

OK, mit dem Erwartungswert der geometrischen Verteilung

$\begin{eqnarray*} X\sim Ge(p), E[X]=\frac{1-p}{p} \end{eqnarray*}$

und

$\begin{eqnarray*} \hat{p} = \frac{1}{1+\frac{1}{m}\sum\limits_{i=1}^{m} n_i} \end{eqnarray*}$

suche ich nun $\begin{eqnarray*} E[\hat p]= \end{eqnarray*}$

$\begin{eqnarray*} = E\left[ \frac{1}{1 + \frac{1}{m} \sum \limits_{i=1}^{m} n_i} \right] = \frac{1}{1 + \frac{1}{m} E\left[ \sum \limits_{i=1}^{m} n_i \right]} = \frac{1}{1 + \frac{1}{m} m \frac{1-p}{p}} = p \end{eqnarray*}$

Ist das korrekt? Ich dachte bei dem Bsp. geht es gerade darum, dass der ML-Schätzer der geometrischen Verteilung nicht erwartungstreu ist, deswegen obige Anmerkung.

14.11.2017, 17:41

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Fredolin
$\begin{eqnarray*} = E\left[ \frac{1}{1 + \frac{1}{m} \sum \limits_{i=1}^{m} n_i} \right] = \frac{1}{1 + \frac{1}{m} E\left[ \sum \limits_{i=1}^{m} n_i \right]} \end{eqnarray*}$

Nein: Die Linearität des Erwartungswertes rechtfertigt nicht solche Operationen. unglücklich

Was genau willst du eigentlich nachweisen? Dass ein ML-Schätzer immer erwartungstreu ist? Ist er nicht.

Die Aussage hier

Zitat:

ist ja auch eine ganz andere, nämlich

$\begin{align*} \lim_{m\to \infty} \hat{p}_m = p \end{align*}$ ,

(genannt: Konsistenz) wobei man noch spezifizieren muss, welche der stochastischen Konvergenzarten hier gemeint ist - aber wir können ruhig die stärkste hier nehmen, also "f.s.".

Nur weil die Begriffe "Erwartungstreue" und "Konsistenz" gern und oft zusammen bei Schätzern auftreten, so kennzeichnen sie doch grundverschiedene Dinge. Man sollte sie also tunlichst nicht verwechseln, wie du es gerade hier getan hast.

14.11.2017, 18:01

Fredolin

Auf diesen Beitrag antworten »

Ich möchte den Erwartungswert des ML-Schätzers $\begin{eqnarray*} \hat p \end{eqnarray*}$ berechnen. Daraus möchte ich erkennen, dass der ML-Schätzer nicht erwartungstreu ist.

Das es mit obiger Methode nicht geht dämmerte mir schon, wär auch zu schön traurig

. Ich hab das aus der Berechnung des Erwartungswert des ML-Schätzers $\begin{eqnarray*} \hat p \end{eqnarray*}$ einer Binomialverteilung übernommen, wo die Zufallsvariable aber im Zähler steht und obendrein nur ein Einzelwert ist.

Wenn meine einzelnen Stichprobenwerte also als ZV $\begin{eqnarray*} N_i \end{eqnarray*}$ mit geometrischer Verteilung aufgefasst werden, ist $\begin{eqnarray*} \hat{P}= \frac{1}{1+\frac{1}{m}\sum\limits_{i=1}^{m} N_i} \end{eqnarray*}$ eine ZV deren Erwartungswert $\begin{eqnarray*} E[\hat P] \end{eqnarray*}$ ich bestimmen muss. Nur hab ich keinen Plan wie ich das machen soll, mit dieser Summe im Nenner.

14.11.2017, 18:18

HAL 9000

Auf diesen Beitrag antworten »

Back doch einfach mal kleinere Brötchen und weise nach, dass bereits für $\begin{align*} m=1 \end{align*}$ der Schätzer nicht erwartungstreu ist. D.h., berechne $\begin{align*} E\left[ \frac{1}{1+N_1} \right] \end{align*}$ für eine einzige geometrisch verteilte Zufallsgröße $\begin{align*} N_1\sim\operatorname{Geo}(p) \end{align*}$ .

Für allgemeine $\begin{align*} m \end{align*}$ kann man zur Jensenschen Ungleichung greifen, bezogen auf die streng konvexe Funktion $\begin{align*} f:\;\mathbb{R}_+\to \mathbb{R}_+ \end{align*}$ mit $\begin{align*} f(x)=\frac{1}{1+x} \end{align*}$ : Die liefert $\begin{align*} f(E(\bar{N})) \leq E(f(\bar{N})) \end{align*}$ , d.h. eingesetzt

$\begin{align*} \frac{1}{1+\frac{1}{p}-1} = p \leq E\left[ \frac{1}{1+\bar{N}} \right] \end{align*}$ .

Dabei gilt Gleichheit in der Jensenschen Ungleichung dann nur für einpunktverteilte Zufallsgrößen, was hier nicht zutrifft. Augenzwinkern

14.11.2017, 19:20

Fredolin

Auf diesen Beitrag antworten »

Also für $\begin{eqnarray*} m=1 \end{eqnarray*}$ :

$\begin{eqnarray*} E[g(N)] = \sum_n g(n) f_N(n) = \sum_{n=0}^{\infty} \frac{1}{1+n} (1-p)^n p \end{eqnarray*}$ .

Mit $\begin{eqnarray*} 0<p<1 \end{eqnarray*}$ konvergiert das wohl, nur gegen welche Summe? Da gabs irgendnen Trick mim Logarithmus, aber welchen? verwirrt

14.11.2017, 19:24

HAL 9000

Auf diesen Beitrag antworten »

Abgeglichen mit

$\begin{align*} -\ln(1-t) = \sum_{k=1}^{\infty} \frac{t^k}{k} = \sum_{n=0}^{\infty} \frac{t^{n+1}}{n+1} \end{align*}$

ergibt das mit $\begin{align*} t=1-p \end{align*}$ sowie einem korrigierenden Vorfaktor

$\begin{align*} E\left[\frac{1}{1+N_1}\right] = -\frac{p}{1-p}\ln(p) \end{align*}$ ,

und das ist ungleich $\begin{align*} p \end{align*}$ :

15.11.2017, 10:09

Fredolin

Auf diesen Beitrag antworten »

Ganz schön aufwändig für ein einzelnes Beispiel. Danke HAL9000 jedenfalls für die vielen Antworten! smile

15.11.2017, 12:38

HAL 9000

Auf diesen Beitrag antworten »

Die zweite Anmerkung greift aber in vielen Fällen: Wenn man also etwa irgendeinen erwartungstreuen Part im Schätzer hat - im vorliegenden Fall den Nenner - der dann durch eine solche konvexe/konkave Funktion "gekapselt" ist, dann ergibt die Jensensche Ungleichung in ihrer strengen Form tatsächlich die Ungleichheit, ja genauer noch: In welche Richtung (kleiner oder größer) der Schätzer verschoben ist.

Neue Frage »

Antworten »

ML-Schätzer geometrische Verteilung

Verwandte Themen