Wie überprüfe ich meinen Maximum Likelihood-Schätzer?

08.08.2015, 17:51

Dreibrunn

Wie überprüfe ich meinen Maximum Likelihood-Schätzer?

Meine Frage:
Irgendwo scheine ich einen Denkfehler zu machen. Ich habe einen ML-Schätzer in C++ geschrieben. Für die eindimensionale Normalverteilung und die Poisson-Verteilung. Die möchte ich jetzt überprüfen.

Also fülle ich ich Vektoren mit den Daten aus den Dichtefunktionen. Für die Normalverteilung ist das (Bei µ=0 und $\begin{eqnarray*} \sigma \end{eqnarray*}$ =1):

Dafür erhalte ich die Werte (Habe es auch schon mit mehr und in größeren Abständen gemacht):

nvector(-0.05) = 0.352065
nvector(-0.04) = 0.36827
nvector(-0.03) = 0.381388
nvector(-0.02) = 0.391043
nvector(-0.01) = 0.396953
nvector(0.00) = 0.398942
nvector(0.01) = 0.396953
nvector(0.02) = 0.391043
nvector(0.03) = 0.381388
nvector(0.04) = 0.36827
nvector(0.05) = 0.352065

Wenn ich das nun in meinen Maximum-Likelihood-Schätzer einsetze erhalte ich für

µ: 0.379853;
$\begin{eqnarray*} \sigma \end{eqnarray*}$ : 0.0165611

Die Formeln hierzu lautet:
$\begin{eqnarray*} s^2 = \frac{1}{n}\sum_{i=1}^n (x_i-m)^2 \end{eqnarray*}$
$\begin{eqnarray*} \hat{ \mu } = \frac{1}{n} \sum\limits_{k=1}^{n} x_i \end{eqnarray*}$

Für die Poisson-Verteilung gilt dasselbe Problem.
Meine Dichtefunktion spuckt für $\begin{eqnarray*} \lambda \end{eqnarray*}$ =5 folgende Werte beim jeweiligen x aus:
pvector(0) = 0.00673795
pvector(1) = 0.0336897
pvector(2) = 0.0842243
pvector(3) = 0.140374
pvector(4) = 0.175467
pvector(5) = 0.175467
pvector(6) = 0.146223
pvector(7) = 0.104445
pvector(8) = 0.065278
pvector(9) = 0.0362656

Dennoch ist laut dem ML-Schätzer $\begin{eqnarray*} \lambda \end{eqnarray*}$ = 0.0968172.
Die Formel hierzu:
$\begin{eqnarray*} \hat{ \lambda } = \frac{1}{n} \sum\limits_{k=1}^{n} x_i \end{eqnarray*}$ .

Ich bin mir sicher, dass ich nur einen Denkfehler mache. Die Dichtefunktion ist in jedem Fall korrekt - ich vermute selbiges gilt auch für den ML-Schätzer.

Meine Ideen:
Ich habe schon probiert die Werte mit 100 zu multiplizieren um auf den absoluten Prozentwert zu kommen, aber das ist auch nicht die richtige Lösung...

Ich bin für jede Hilfe Dankbar

09.08.2015, 10:13

Huggy

Auf diesen Beitrag antworten »

RE: Wie überprüfe ich meinen Maximum Likelihood-Schätzer?

Zitat:

Original von Dreibrunn
Ich bin mir sicher, dass ich nur einen Denkfehler mache.

Nur einen? Da sind gleich mehrere Denkfehler drin. Mehr noch, es scheint dir am Grundverständnis der Sache zu fehlen.

Ein Schätzer bzw. eine Schätzfunktion ist eine Funktion, mit der man aus den Werten einer Stichprobe aus einer Verteilung einen Schätzwert für einen Verteilungsparameter berechnet. Die $\begin{eqnarray*} x_i \end{eqnarray*}$ in deinen Formeln sind die Stichprobenwerte. Du hast aber gar keine Stichproben erzeugt. Du hast einfach die Dichtefunktion bzw. die Zähldichte der Verteilung in einem bestimmten Bereich systematisch aufgelistet und diese Werte dann in die Schätzfunktion eingesetzt. Eingesetzt gehören aber nicht die Werte der Dichtefunktion oder der Zähldichte, sondern die Stichprobenwerte. Bei der Poissonverteilung wären das ganze Zahlen aus dem Bereich 0, 1, 2, ..., die man aber nicht systematisch auflisten darf, sondern gemäß einer Poissonverteilung zufällig erzeugen muss. Hier mal ein Beispiel für eine Zufallsstichprobe vom Umfang 10 aus einer Poissonverteilung mit $\begin{eqnarray*} \lambda = 5 \end{eqnarray*}$ :

4, 6, 9, 7, 5, 3, 4, 3, 2, 7

Diese 10 Werte wären als $\begin{eqnarray*} x_i \end{eqnarray*}$ in die Schätzfunktion einzugeben. Dass sich bei diesem Beispiel als Schätzwert der wahre Wert des Parameters ergibt, ist Zufall.

Bei deiner Standardnormalverteilung sind übrigens die x-Werte um den Faktor 10 zu klein. Die zu den angegebenen Dichtewerten passenden x-Werte gehen von -0,5 bis 0.5.

09.08.2015, 16:54

Dreibrunn

Auf diesen Beitrag antworten »

RE: Wie überprüfe ich meinen Maximum Likelihood-Schätzer?

Zitat:

Original von Huggy
Nur einen? Da sind gleich mehrere Denkfehler drin. Mehr noch, es scheint dir am Grundverständnis der Sache zu fehlen.

Mit Polemik motiviert man Menschen sich mit Mathematik zu beschäftigen.

Zitat:

Original von Huggy
Bei der Poissonverteilung wären das ganze Zahlen aus dem Bereich 0, 1, 2, ..., die man aber nicht systematisch auflisten darf, sondern gemäß einer Poissonverteilung zufällig erzeugen muss. Hier mal ein Beispiel für eine Zufallsstichprobe vom Umfang 10 aus einer Poissonverteilung mit $\begin{eqnarray*} \lambda = 5 \end{eqnarray*}$ :

4, 6, 9, 7, 5, 3, 4, 3, 2, 7

Diese 10 Werte wären als $\begin{eqnarray*} x_i \end{eqnarray*}$ in die Schätzfunktion einzugeben. Dass sich bei diesem Beispiel als Schätzwert der wahre Wert des Parameters ergibt, ist Zufall.

Wie kann das sein das die Reihenfolge eine Rolle spielt? Soweit ich weiß ist die Funktion um zum $\begin{eqnarray*} \lambda \end{eqnarray*}$ zu kommen ist doch kommutativ?
$\begin{eqnarray*} \hat{\lambda}=\frac{1}{n}\sum\limits_{k=1}^{n}x_i \end{eqnarray*}$

Frage dann: Was ist die einfachste Möglichkeit zu testen ob meine ML-Schätzer funktionieren? Gibt es Formeln für die Zufallszahlenerstellung?

Zitat:

Original von Huggy
Bei deiner Standardnormalverteilung sind übrigens die x-Werte um den Faktor 10 zu klein. Die zu den angegebenen Dichtewerten passenden x-Werte gehen von -0,5 bis 0.5.

Gard das Programm noch einmal angeworfen - habe bemerkt, dass ich den falschen Test kopiert habe, Danke.

09.08.2015, 17:37

Huggy

Auf diesen Beitrag antworten »

RE: Wie überprüfe ich meinen Maximum Likelihood-Schätzer?

Zitat:

Original von Dreibrunn
Mit Polemik motiviert man Menschen sich mit Mathematik zu beschäftigen.

Meine Bemerkung war nicht als Polemik gedacht. Das war mein ehrlicher Eindruck aus dem, was du gemacht hast.

Zitat:

Die Reihenfolge spielt keine Rolle. Nur wenn man Zufallszahlen erzeugt, entstehen sie halt in einer Reihenfolge. Du kannst sie in beliebiger Reihenfolge in die Schätzfunktion eingeben.

Zitat:

Frage dann: Was ist die einfachste Möglichkeit zu testen ob meine ML-Schätzer funktionieren?

Was meinst du mit funktionieren? Für Schätzfunktionen gibt es diverse wünschenswerte Eigenschaften, z. B. die Konsistenz und die Erwartungstreue, siehe

https://de.wikipedia.org/wiki/Sch%C3%A4tzfunktion

Man kann von einer bestimmten Schätzfunktion versuchen, analytisch zu zeigen, dass sie diese Eigenschaften hat oder auch nicht. Man kann auch versuchen, das empirisch zu zeigen, was offenbar dein Ziel ist. Dann muss man Zufallsstichproben aus der Verteilung erzeugen, aus den Stichproben die Schätzwerte bestimmen und sich diese anschauen.

Zitat:

Gibt es Formeln für die Zufallszahlenerstellung?

Es gibt diverse Methoden, z. B. die Inversionsmethode:

https://de.wikipedia.org/wiki/Inversionsmethode

Neue Frage »

Antworten »

Wie überprüfe ich meinen Maximum Likelihood-Schätzer?

Verwandte Themen