Maximum Likelihood: "Begründung" für Schätzwert

08.12.2018, 16:23

mrclndr

Maximum Likelihood: "Begründung" für Schätzwert

Ich soll eine Aufgabe lösen, bei der ich ausgehend von einer gegebenen Dichtefunktion einen Maximum-Likelihood-Schätzwert berechnen soll. Das habe ich hingekriegt und für die Nullstelle der ersten Ableitung kommt heraus:

$\begin{eqnarray*} \hat{\theta}=\frac{k}{\sum\limits_{i=1}^{k} x_{i} } \end{eqnarray*}$

Das müsste doch mein Schätzwert sein - für mich reicht es dafür, zu wissen, dass ich die Dichtefunktion in die ML-Funktion eingesetzt habe, die ML-Funktion einmal abgeleitet und dann null gesetzt habe (also denjenigen Wert gefunden habe, unter dem die gegebene Wahrscheinlichkeitsfunktion am wahrscheinlichsten ist(?)). (Theta ist dabei im Beispiel der prozentuale Anteil von Schwarzfahrern unter allen Fahrgästen durch 100.) Mein Lösungsbuch gibt mir aber noch dazu folgende Begründung (g' steht für die Ableitung der logarithmierten ML-Funktion g):

Zitat:

Wegen

$\begin{eqnarray*} g(\theta) > 0, \theta \in (0, \hat{\theta}) \end{eqnarray*}$
$\begin{eqnarray*} g(\theta) < 0, \theta \in (\hat{\theta}, 1) \end{eqnarray*}$

und

$\begin{eqnarray*} L(0;x_{1}, ..., x_{k})=L(1;x_{1}, ..., x_{k})=0 \end{eqnarray*}$

ist $\begin{eqnarray*} \hat{\theta} \end{eqnarray*}$ ein Maximum-Likelihood-Schätzwert für $\begin{eqnarray*} \theta \end{eqnarray*}$ .

Und diese Begründung verstehe ich leider nicht ganz. Zu den ersten zwei Formeln: Wenn Theta den Wert Theta-Dach annimmt, wie es das ja, da Element der Menge, auch kann, dann wird doch g' gerade 0 und nicht eben größer oder kleiner 0? Weil Theta-Dach ist ja die Nullstelle von g' (so habe ich es doch berechnet), oder? Und zu der dritten Formel: Da weiß ich nicht, was sie mir (in dem Kontext, in Bezug auf die Frage, ob Theta-Dach ein ML-Schätzwert ist oder nicht) sagen soll.

Sorry, ist ein bisschen allgemein gefragt. Vielleicht kann mir ja trotzdem wer einen Tipp geben, um auf die Zusammenhänge zu kommen (nach jetzigem Stand hab ich wohl einfach nur Formeln richtig angewendet).

09.12.2018, 11:13

Huggy

Auf diesen Beitrag antworten »

RE: Maximum Likelihood: "Begründung" für Schätzwert
Zunächst mal folgt aus $\begin{eqnarray*} L'(\hat \theta)=0 \end{eqnarray*}$ nicht, dass $\begin{eqnarray*} L(\theta) \end{eqnarray*}$ bei $\begin{eqnarray*} \theta=\hat \theta \end{eqnarray*}$ eine lokale Extremstelle (Minimum oder Maximum) hat. Das ist nur eine notwendige Bedingung, keine hinreichende. Das lernt man schon in der Schule.

In dem Lösungsbuch wird nun gesagt, dass $\begin{eqnarray*} g(\theta) \end{eqnarray*}$ bei $\begin{eqnarray*} \hat \theta \end{eqnarray*}$ einen Vorzeichenwechsel macht. Das ist zusammen mit Ableitung gleich Null dann eine hinreichende Bedingung. Beachte auch, dass dort zwei offene Intervalle stehen. $\begin{eqnarray*} \hat \theta \end{eqnarray*}$ liegt in keinem dieser offenen Intervalle.

Der ML-Schätzer ist die Stelle, an der die Likelihod $\begin{eqnarray*} L \end{eqnarray*}$ (bzw. ihr Logarithmus) ihr Maximum hat. Das muss aber kein lokales Extremum sein. Es kann auch ein Randextremum sein und das bekommt man nicht über die Ableitung. Im Lösungsbuch wird nun gezeigt, dass $\begin{eqnarray*} L \end{eqnarray*}$ an den Rändern des Definitionsbereichs von $\begin{eqnarray*} \theta \end{eqnarray*}$ kleiner ist als bei $\begin{eqnarray*} \hat \theta \end{eqnarray*}$ . Also liegt kein Randextremum vor. Wenn die Ableitung keine weiteren Nullstellen hat, ergibt sich daraus auch, dass das lokale Extremum ein Maximum ist und nicht etwa ein Minimum.

09.12.2018, 17:24

mrclndr

Auf diesen Beitrag antworten »

Oje, ich habe mich leider vertippt. In der Lösung steht beide Male g'(Theta) statt g(Theta). Die Ableitung ist also gemeint. Ich verstehe leider nicht, wie man darauf kommt, dass g'(Theta)>0 ist für alles, was zwischen 0 und Theta-Dach ist (analog für g'(Theta)<0)? Warum lässt sich das sagen? Ich weiß, dass g'(Theta-Dach)=0 ist, aber warum genau kann ich daraus schließen, dass g' bei Werten unter Theta-Dach positiv ist und darüber negativ?

Warum L(0)=L(1)=0 für den Nachweis eines Extremums notwendig ist, hab ich jedenfalls verstanden, glaube ich. Nur: Warum ergibt sich, dass es ein Maximum ist? Weil ich kein zweites Extremum habe, das das gegebene übertreffen könnte?

Zitat:

Das lernt man schon in der Schule.

Ja, mir ist bewusst, dass meine Fragen wohl leider teilweise ziemlich grundlegend sind. Leider ist mein Unterricht viele Jahre her und war sehr, na ja, sprachgymnasial in der Priorität. Die entsprechende Vorlesung zur Auffrischung der Analysis habe ich erst im nächsten Semester; daher bin ich gerade in so einem amateurhaften Zwischenstadium... Danke umso mehr für deine Hilfe!

09.12.2018, 22:59

mrclndr

Auf diesen Beitrag antworten »

OK, ich habe nochmal ein bisschen nachgedacht:

- Kann es sein, dass die Aussagen über g'(Theta) aus der Lösung schlichtweg bedeuten sollen, dass es nur eine Nullstelle gibt für g'(Theta), nämlich eben g'(Theta-Dach)? (Dass es nur eine Nullstelle gibt, sehe ich ja an der Funktion, die Lösung bietet vielleicht eine formalere Beschreibung desselben?)
- Die Aussagen über L(0) und L(1) sagen mir dann einfach, was du beschrieben hast: nämlich dass für diesen Bereich Theta-Dach ein Extremum ist? (Hätte ich vielleicht von Anfang an dazusagen sollen: Theta ist gegeben als prozentualer Anteil der Schwarzfahrer unter allen Fahrgästen durch 100, daher wohl auch 0 und 1 als Grenzen.)
- Und beides zusammengedacht ergibt dann: Theta-Dach ist erstens ein Extremum, da L(0)=L(1)=0, und zweitens ein Maximum, da g'(Theta) nur eine Nullstelle hat?

10.12.2018, 09:42

Huggy

Auf diesen Beitrag antworten »

Zitat:

Original von mrclndr
Ich weiß, dass g'(Theta-Dach)=0 ist, aber warum genau kann ich daraus schließen, dass g' bei Werten unter Theta-Dach positiv ist und darüber negativ?

Rein aus der Existenz der Nullstelle kannst du das nicht schließen. Wenn das ginge, wäre ja die Existenz der Nullstelle schon hinreichend für ein lokales Extremum. Das reicht aber nicht. Betrachte mal als Beispiel die beiden Funktionen $\begin{eqnarray*} f_1(x)=x^2 \end{eqnarray*}$ und $\begin{eqnarray*} f_2(x)=x^3 \end{eqnarray*}$ . Es ist $\begin{eqnarray*} f_1'(0)=0 \end{eqnarray*}$ und $\begin{eqnarray*} f_2'(0)=0 \end{eqnarray*}$ . Beide Ableitungen haben eine Nullstelle bei $\begin{eqnarray*} x=0 \end{eqnarray*}$ . Aber nur $\begin{eqnarray*} f_1 \end{eqnarray*}$ hat dort ein lokales Extremum, nämlich ein Minimum. Es ist $\begin{eqnarray*} f_1'(x)=2x \end{eqnarray*}$ . Daraus sieht man sofort $\begin{eqnarray*} f_1'(x)>0 \end{eqnarray*}$ für $\begin{eqnarray*} x>0 \end{eqnarray*}$ und $\begin{eqnarray*} f_1(x)<0 \end{eqnarray*}$ für $\begin{eqnarray*} x<0 \end{eqnarray*}$ . Natürlich sieht man das nicht immer so einfach.

Du musst dir also deine konkrete Funktion $\begin{eqnarray*} g'(\theta) \end{eqnarray*}$ anschauen, um daraus auf den Vorzeichenwechsel zu schließen. Da du über $\begin{eqnarray*} g'(\theta) \end{eqnarray*}$ keine Angaben gemacht hast, müsste ich aus deinen rudimentären Angaben zu der Aufgabe schließen, wie die Funktion aussieht. Ich habe da auch eine gute Vermutung. Aber einfacher ist es, du nennst mal die Funktionen $\begin{eqnarray*} L(\theta) \end{eqnarray*}$ , $\begin{eqnarray*} g(\theta) \end{eqnarray*}$ und $\begin{eqnarray*} g'(\theta) \end{eqnarray*}$ und danach reden wir weiter. Vielleicht findest du ja jetzt auch allein eine Begründung für den Vorzeichenwechsel.

Zitat:

Warum L(0)=L(1)=0 für den Nachweis eines Extremums notwendig ist, hab ich jedenfalls verstanden, glaube ich. Nur: Warum ergibt sich, dass es ein Maximum ist? Weil ich kein zweites Extremum habe, das das gegebene übertreffen könnte?

Da $\begin{eqnarray*} g'(\theta) \end{eqnarray*}$ nur ein Nullstelle hat, kann es höchstens ein lokales Extremum geben. Es ist aber überal $\begin{eqnarray*} L(\theta) \geq 0 \end{eqnarray*}$ , da $\begin{eqnarray*} L \end{eqnarray*}$ ein Produkt von Wahrscheinlichkeiten oder Wahrscheinlichkeitsdichten ist und die sind definitionsgemäß nicht negativ. Daher kann das lokale Extremum nur ein Maximum sein, wenn $\begin{eqnarray*} L \end{eqnarray*}$ an den Rändern $\begin{eqnarray*} 0 \end{eqnarray*}$ ist..

Neue Frage »

Antworten »

Maximum Likelihood: "Begründung" für Schätzwert

Verwandte Themen