Maximum-Likelihood-Schätzer

18.08.2021, 19:57

MrBoogey

Maximum-Likelihood-Schätzer

Guten Abend alle zusammen .
Ich benötige Hilfe bei dieser schweren Aufgabe
Kennt sich jemand damit aus ?
Habe keine Ansätze bis jetzt

18.08.2021, 21:27

HAL 9000

Auf diesen Beitrag antworten »

Nun (a) sollte so schwierig nicht sein:

Die Dichtefunktion entspricht (fast überall) der Ableitung der gegebenen Verteilungsfunktion nach $\begin{eqnarray*} x \end{eqnarray*}$ . Wirklich keine Idee, wie das hier für so ein bestimmtes Integral mit oberer Intervallgrenze $\begin{eqnarray*} x \end{eqnarray*}$ funktioniert? Das betrifft $\begin{eqnarray*} x>0 \end{eqnarray*}$ ; für den anderen Fall $\begin{eqnarray*} x<0 \end{eqnarray*}$ gilt ja trivialerweise für diese Ableitung $\begin{eqnarray*} f_{\mu,\sigma}\left(x\right)=0 \end{eqnarray*}$ .

(b) setzt auf (a) auf: Die Likelihoodfunktion einer Stichprobe bei einer stetigen Verteilung der Grundgesamtheit (wie hier) ist gleich dem Produkt der Einzeldichtewerte an allen Stichprobenwertpositionen, d.h.,

$\begin{eqnarray*} L_x(\mu,\sigma) := \prod_{k=1}^n f_{\mu,\sigma}\left(x_k\right) \end{eqnarray*}$

Und diese Funktion ist nun bzgl. der Parameter $\begin{eqnarray*} \mu \end{eqnarray*}$ und $\begin{eqnarray*} \sigma \end{eqnarray*}$ zu maximieren. Die Stichprobenwerte $\begin{eqnarray*} x=\left(x_1,\ldots,x_n\right) \end{eqnarray*}$ in dieser Formel sind hinsichtlich dieses Maximierungsproblems als reelle Konstanten anzusehen.

19.08.2021, 00:29

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} = \frac{dF(x)}{dx} - \frac{dF(0)}{dx} \end{eqnarray*}$

$\begin{eqnarray*} = \frac{1}{x}* e^{- \frac{1}{2}*(\frac{ln(x)-u}{\sigma} )^2 } - \frac{1}{0}* e^{- \frac{1}{2}*(\frac{ln(0)-u}{\sigma} )^2 } \end{eqnarray*}$

Der Teil mit 0 fällt dann weg ?

Dieser Term ist Ableitung?

$\begin{eqnarray*} = \frac{1}{\sigma \sqrt{2\pi } } * \frac{1}{x}* e^{- \frac{1}{2}*(\frac{ln(x)-u}{\sigma} )^2 } \end{eqnarray*}$

Kann man das vereinfachen?

19.08.2021, 07:51

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von MrBoogey
$\begin{eqnarray*} = \frac{dF(x)}{dx} - \frac{dF(0)}{dx} \end{eqnarray*}$

$\begin{eqnarray*} = \frac{1}{x}* e^{- \frac{1}{2}*(\frac{ln(x)-u}{\sigma} )^2 } - \frac{1}{0}* e^{- \frac{1}{2}*(\frac{ln(0)-u}{\sigma} )^2 } \end{eqnarray*}$

Der Term $\begin{eqnarray*} - \frac{1}{0}* e^{- \frac{1}{2}*(\frac{ln(0)-u}{\sigma} )^2 } \end{eqnarray*}$ ist falsch: Abgesehen von der Nichtdefiniertheit ist dieses rein mechanische Einsetzen der unteren Grenze in den Intergrandenterm der blanke Unsinn: F(0) ist eine Konstante, und die ist abgeleitet einfach gleich 0 - das ist die Begründung für die 0 hinten.

Für die obere Grenze ist hingegen schlicht $\begin{eqnarray*} \frac{\dd F(x)}{\dd x} = F'(x) \end{eqnarray*}$ , und das entspricht dem Integrand an der Stelle t=x.

Allgemein gilt mit Stammfunktion $\begin{eqnarray*} F \end{eqnarray*}$ von $\begin{eqnarray*} f \end{eqnarray*}$

$\begin{eqnarray*} \int\limits_{a(x)}^{b(x)} f(t) ~ \dd t = F(b(x)) - F(a(x)) \end{eqnarray*}$

und daher für die Ableitung dann gemäß Kettenregel

$\begin{eqnarray*} \frac{\dd}{\dd x}\int\limits_{a(x)}^{b(x)} f(t) ~ \dd t = f(b(x))\cdot b'(x) - f(a(x))\cdot a'(x) \end{eqnarray*}$ .

Zitat:

Original von MrBoogey
$\begin{eqnarray*} = \frac{1}{\sigma \sqrt{2\pi } } * \frac{1}{x}* e^{- \frac{1}{2}*(\frac{ln(x)-u}{\sigma} )^2 } \end{eqnarray*}$

Ist richtig. Da ist keine nennenswerte Vereinfachung möglich.

19.08.2021, 14:17

MrBoogey

Auf diesen Beitrag antworten »

Soll ich hier die Kettenregel jetzt anwenden oder wie ?

Oder reicht das F(x) ?

19.08.2021, 14:40

HAL 9000

Auf diesen Beitrag antworten »

Ich hatte angenommen, $\begin{eqnarray*} \frac{\dd}{\dd x}\int\limits_0^x f(t) ~ \dd t = f(x) \end{eqnarray*}$ wäre jetzt hinreichend ausdiskutiert? D.h. im vorliegenden Fall bedeutet das für die Dichte $\begin{eqnarray*} f_{\mu,\sigma}(x) = \frac{1}{x\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left(\frac{\ln(x)-\mu}{\sigma}\right)^2} \end{eqnarray*}$ für $\begin{eqnarray*} x>0 \end{eqnarray*}$ .

Irgendwie muss es jetzt ja auch mal weiter gehen, oder? verwirrt

19.08.2021, 16:50

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} L_x(\mu,\sigma) := \prod_{k=1}^n \frac{1}{x\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left(\frac{\ln(x)-\mu}{\sigma}\right)^2} \end{eqnarray*}$

Was mache ich jetzt genau bei der b) mit dem Term ?

19.08.2021, 17:00

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von MrBoogey
$\begin{eqnarray*} L_x(\mu,\sigma) := \prod_{k=1}^n \frac{1}{x\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left(\frac{\ln(x)-\mu}{\sigma}\right)^2} \end{eqnarray*}$

Stimmt nicht ganz: Ersetze bitte alle $\begin{eqnarray*} x \end{eqnarray*}$ rechts durch $\begin{eqnarray*} x_k \end{eqnarray*}$ .

Zitat:

Original von MrBoogey
Was mache ich jetzt genau bei der b) mit dem Term ?

Na maximieren! Wie so oft bei Maximum Likelihood erweist es sich aber als günstig, statt die Likelihodfunktion dann doch besser die Log-Likelihoodfunktion

$\begin{eqnarray*} LL_x(\sigma) = \ln L_x(\sigma) = \sum_{k=1}^n \left[-\ln(x_k\sigma\sqrt{2\pi}) -\frac{1}{2}\left(\frac{\ln(x_k)-\mu}{\sigma}\right)^2 \right] = \sum_{k=1}^n \left[-\ln(x_k\sqrt{2\pi}) -\ln(\sigma)-\frac{\left(\ln(x_k)-\mu\right)^2}{2\sigma^2} \right] \end{eqnarray*}$

bzgl. Argument $\begin{eqnarray*} \sigma \end{eqnarray*}$ zu maximieren. Ich hab gleich mal $\begin{eqnarray*} \mu \end{eqnarray*}$ aus der Parameterliste rausgenommen, denn dieser Wert ist hier ja nicht zu optimieren, sondern laut Aufgabenstellung bereits fest vorgegeben (das hatte ich vorhin noch nicht gelesen).

19.08.2021, 17:09

MrBoogey

Auf diesen Beitrag antworten »

Vielleicht bitte paar Sachen zuerst erklären .

Wieso hast du beim ersten Schritt ein Minus vor dem ln ?

Wieso hast du im 2 Schritt plötzlich ein - ln(sigma)?

Gut wenn wir sigma maximieren :

-ln( unendlich) = -unendlich

Beim rechten Bruch wenn u und sigma gegen unendlich dann geht Bruch gegen 1?

19.08.2021, 17:36

HAL 9000

Auf diesen Beitrag antworten »

Ich setze voraus, dass du Logarithmenregeln kennst (Schulwissen): Zur Umwandlung dieses Terms habe ich mehrfach Regel

$\begin{eqnarray*} \ln(u\cdot v) = \ln(u)+\ln(v) \end{eqnarray*}$

angewandt, u.a. eben auch bei $\begin{eqnarray*} \ln(x_k\sqrt{2\pi}\cdot \sigma) = \ln(x_k\sqrt{2\pi})+\ln(\sigma) \end{eqnarray*}$ .

Und natürlich ist auch $\begin{eqnarray*} \ln\left(\frac{1}{u}\right)=-\ln(u) \end{eqnarray*}$ .

Zitat:

Original von MrBoogey
Gut wenn wir sigma maximieren :

-ln( unendlich) = -unendlich

Beim rechten Bruch wenn u und sigma gegen unendlich dann geht Bruch gegen 1?

Versuch es doch besser mal mit differenzieren nach $\begin{eqnarray*} \sigma \end{eqnarray*}$ und Nullsetzen der Ableitung, so wie du es sicher irgendwann mal gelernt hast zu Extremwertuntersuchungen. Augenzwinkern

19.08.2021, 18:49

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} - \frac{1}{\sigma} -4\sigma^{-3} \end{eqnarray*}$

$\begin{eqnarray*} - \frac{1}{\sigma} -\frac{4}{\sigma^3} \end{eqnarray*}$

Passen die Ableitungen?

19.08.2021, 18:54

HAL 9000

Auf diesen Beitrag antworten »

Passt nicht. Was ist denn mit der Summe passiert ? Und mit den Faktoren $\begin{eqnarray*} \left(\ln(x_k)-\mu\right)^2 \end{eqnarray*}$ ?

19.08.2021, 19:23

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} - \frac{1}{\sigma} -4\sigma^{-3} \end{eqnarray*}$

$\begin{eqnarray*} - \frac{1}{\sigma} -\frac{4}{\sigma^3} \end{eqnarray*}$ $\begin{eqnarray*} \left(\ln(x_k)-\mu\right)^2 \end{eqnarray*}$

Jetzt besser?

19.08.2021, 19:31

HAL 9000

Auf diesen Beitrag antworten »

Ich weiß nicht, was du da rechnest - bei mir ist jedenfalls

$\begin{eqnarray*} \frac{\partial}{\partial\sigma} LL_x(\sigma) = \sum_{k=1}^n \left[-\frac{1}{\sigma} + \frac{\left(\ln(x_k)-\mu\right)^2}{\sigma^3} \right] \end{eqnarray*}$ .

Jetzt gleich Null setzen und die entstehende Gleichung nach $\begin{eqnarray*} \sigma \end{eqnarray*}$ umformen.

19.08.2021, 21:03

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} \left[-\frac{1}{\sigma} + \frac{\left(\ln(x_k)-\mu\right)^2}{\sigma^3} \right] = 0 \end{eqnarray*}$

$\begin{eqnarray*} ln(x_k - u) = \sigma \end{eqnarray*}$

Was muss ich jetzt weiter machen ?

19.08.2021, 21:28

HAL 9000

Auf diesen Beitrag antworten »

Die Bedingung, dass die Summe Null sein muss, heißt doch NICHT, dass jeder einzelne Summand gleich Null sein muss. unglücklich

P.S.: Was hast du überhaupt für ein Problem mit Summen? Ständig lässt du die weg - so geht das einfach nicht.

19.08.2021, 21:31

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} \sum_{k=1}^n \left[-\frac{1}{\sigma} + \frac{\left(\ln(x_k)-\mu\right)^2}{\sigma^3} \right] =0 \end{eqnarray*}$ .

Meinst du das ich es so 0 setzen soll?

Gruss
Boogey

19.08.2021, 21:35

HAL 9000

Auf diesen Beitrag antworten »

Ja natürlich. Und das kann man nach $\begin{eqnarray*} \sigma \end{eqnarray*}$ umformen - aber diesmal endlich mal mit Sorgfalt: So grausige Umformungen wie oben will ich ungern nochmal sehen.

P.S.: Wenn das mit dem Summensymbol für dich ungewohnt ist, kannst du die Summe auch gern mal für n=2 oder n=3 ausschreiben und dies dann nach $\begin{eqnarray*} \sigma \end{eqnarray*}$ umformen - wenn du dich erstmal auf diese Weise an den allgemeinen Fall rantasten musst.

19.08.2021, 21:47

MrBoogey

Auf diesen Beitrag antworten »

soll ich nicht im ersten Schritt mit Sigma multiplizieren ?

19.08.2021, 22:12

HAL 9000

Auf diesen Beitrag antworten »

Ja, kannst du tun. Wobei ich dann eigentlich gleich mit $\begin{eqnarray*} \sigma^3 \end{eqnarray*}$ multiplizieren würde, um das "Ding" aus dem Nenner rauszukriegen. Und die Summen dann auftrennen, d.h.

$\begin{eqnarray*} 0 = \sum_{k=1}^n \left[-\sigma^2 + \left(\ln(x_k)-\mu\right)^2 \right] = \sum_{k=1}^n \left[-\sigma^2 \right] + \sum_{k=1}^n \left(\ln(x_k)-\mu\right)^2 = -n\sigma^2 + \sum_{k=1}^n \left(\ln(x_k)-\mu\right)^2 \end{eqnarray*}$ .

Und jetzt sollte langsam klar sein, wie man das nach $\begin{eqnarray*} \sigma \end{eqnarray*}$ umformt.

20.08.2021, 00:45

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} \leftn\sigma^2 = + \sum_{k=1}^n \left(\ln(x_k)-\mu\right)^2 \end{eqnarray*}$ .

Der rechte Ausdruck durch n teilen ?

Woher kommt eigentlich bei deiner Vereinfachung das n her plötzlich?

20.08.2021, 07:39

HAL 9000

Auf diesen Beitrag antworten »

$\begin{eqnarray*} \sum_{k=1}^n \left[-\sigma^2\right] = \underbrace{-\sigma^2-\sigma^2-\ldots -\sigma^2}_{n~\mbox{Summanden}} = ? \end{eqnarray*}$

Du musst dich wirklich mal bemühen, nicht bei jeder solchen Winzigkeit nachzufragen, sondern auch mal selbständig gründlich drüber nachzudenken. Soweit erkennbar, ist das in diesem Thread nirgendwo so geschehen, dass es auch mal gelungen ist.

20.08.2021, 09:50

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} \sigma = \frac{+ \sum_{k=1}^n \left(\ln(x_k)-\mu\right)}{\sqrt{n} } <br /> \end{eqnarray*}$

sieht besser aus oder ?

Du meintest wie bei Extrema

Welche Werte soll man da einsetzen ?

20.08.2021, 10:09

HAL 9000

Auf diesen Beitrag antworten »

Schon wieder einen Riesen-Bock geschossen: Das Ergebnis ist $\begin{eqnarray*} \hat{\sigma} = \sqrt{\frac{1}{n}\sum_{k=1}^n \left(\ln\left(x_k\right)-\mu\right)^2} \end{eqnarray*}$ . Die Bezeichnung $\begin{eqnarray*} \hat{\sigma} \end{eqnarray*}$ kennzeichnet die Maximumstelle der Loglikelihoodfunktion (in Abgrenzung zum variablen Argument $\begin{eqnarray*} \sigma \end{eqnarray*}$ dieser Funktion).

Die Umformung $\begin{eqnarray*} \sqrt{\sum_{k=1}^n \left(\ln\left(x_k\right)-\mu\right)^2} \stackrel{?}{=} \sum_{k=1}^n \left(\ln\left(x_k\right)-\mu\right) \end{eqnarray*}$ ist grottenfalsch - du rechnest doch auch nicht $\begin{eqnarray*} 5 = \sqrt{3^2+4^2} \stackrel{?}{=} 3+4 = 7 \end{eqnarray*}$ , oder? unglücklich

P.S.: Das ist es, was ich hier angesprochen hatte: Die Schüler lernen (mehr schlecht als recht) Signifikanztests kennen, beherrschen dafür aber grundlegende algebraische Umformungsregeln nicht und kommen so ausgebildet dann an die Uni. Selbstredend gilt das nicht für alle Schüler, aber leider für viel zu viele.

Zitat:

Original von MrBoogey
Welche Werte soll man da einsetzen ?

$\begin{eqnarray*} \mu \end{eqnarray*}$ ist laut Aufgabenstellung b) bekannt. $\begin{eqnarray*} n \end{eqnarray*}$ ist der Stichprobenumfang, und die Stichprobe selbst sind ja die Werte $\begin{eqnarray*} x_1,\ldots,x_n \end{eqnarray*}$ . Das ist das, wovon wir ausgegangen sind, und das kann man dann am Ende auch in die Formel einsetzen. Das in der Aufgabenstellung erwähnte "dass es mindestens ein $\begin{eqnarray*} x_i \end{eqnarray*}$ mit $\begin{eqnarray*} \ln x_i\neq \mu \end{eqnarray*}$ gibt" sorgt lediglich dafür, dass am Ende tatsächlich $\begin{eqnarray*} \hat{\sigma}>0 \end{eqnarray*}$ herauskommt (andernfalls wäre auch $\begin{eqnarray*} \hat{\sigma}=0 \end{eqnarray*}$ möglich gewesen).

20.08.2021, 11:04

Leopold

Auf diesen Beitrag antworten »

Zitat:

Original von HAL 9000
Die Schüler lernen (mehr schlecht als recht) Signifikanztests kennen, beherrschen dafür aber grundlegende algebraische Umformungsregeln nicht und kommen so ausgebildet dann an die Uni. Selbstredend gilt das nicht für alle Schüler, aber leider für viel zu viele.

Als ich in Baden-Württemberg Lehrer wurde, lagen wir in diesem Bundesland bei den Schülerleistungen in Mathematik im nationalen Vergleich auf Platz 2 oder Platz 3. Inzwischen sind wir irgendwo ins Mittelfeld abgerutscht. Muß wohl an mir liegen. traurig

20.08.2021, 14:38

MrBoogey

Auf diesen Beitrag antworten »

Zitat:

Original von Leopold

Zitat:

hahah hat unsere Dotzent auch gemeint ,dass der Stand der Studenten immer schlecht wird
Allerdings ist dies nicht nur der Fehler der Studenten wenn die Profs im Studium nur PowerPoint Folien vortragen .
Woher sollen wir selbst alles wissen ?
Dann hätte man das Studium auch zu Hause führen

Hall für was soll ich X1----Xn einsetzen?

20.08.2021, 15:38

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von MrBoogey
Hall für was soll ich X1----Xn einsetzen?

Manche Leute "stehen" auf Wiederholungen - wohl weil sie schlicht nicht alles lesen:

Zitat:

Original von HAL 9000

Zitat:

Original von MrBoogey
Welche Werte soll man da einsetzen ?

Was für eine weitere Antwort erwartet Mr Double Bogey*) denn noch? Soll ich mir eine konkrete Stichprobe ausdenken bzw. aus den Fingern saugen? unglücklich

*) Das ist die Retourkutsche für "Hall".

20.08.2021, 17:08

MrBoogey

Auf diesen Beitrag antworten »

Also meinst du damit das ich für n sozusagen die X1....Xn einsetze ?

Soll ich das für n in die Formel einsetzen ?

Viele Grüsse
Boogeymann

20.08.2021, 17:22

HAL 9000

Auf diesen Beitrag antworten »

"für n sozusagen die X1....Xn einsetzen" ??? geschockt

Ich habe alles dazu geschrieben, was mir einfällt. Wenn du aus irgendwelchen Gründen das inhaltlich verdrehen oder verstümmeln willst, dann kann ich daran auch nichts ändern. Habe jetzt fertig.

20.08.2021, 17:29

MrBoogey

Auf diesen Beitrag antworten »

Zitat:

Original von HAL 9000
Schon wieder einen Riesen-Bock geschossen: Das Ergebnis ist $\begin{eqnarray*} \hat{\sigma} = \sqrt{\frac{1}{n}\sum_{k=1}^n \left(\ln\left(x_k\right)-\mu\right)^2} \end{eqnarray*}$ . Die Bezeichnung $\begin{eqnarray*} \hat{\sigma} \end{eqnarray*}$ kennzeichnet die Maximumstelle der Loglikelihoodfunktion (in Abgrenzung zum variablen Argument $\begin{eqnarray*} \sigma \end{eqnarray*}$ dieser Funktion).

Die Umformung $\begin{eqnarray*} \sqrt{\sum_{k=1}^n \left(\ln\left(x_k\right)-\mu\right)^2} \stackrel{?}{=} \sum_{k=1}^n \left(\ln\left(x_k\right)-\mu\right) \end{eqnarray*}$ ist grottenfalsch - du rechnest doch auch nicht $\begin{eqnarray*} 5 = \sqrt{3^2+4^2} \stackrel{?}{=} 3+4 = 7 \end{eqnarray*}$ , oder? unglücklich

Zitat:

Original von MrBoogey
Welche Werte soll man da einsetzen ?

Meine Frage war ob ich noch irgendwas in der Formel einsetzen soll? geschockt

20.08.2021, 17:41

HAL 9000

Auf diesen Beitrag antworten »

Mag sich jemand drum kümmern, der dein Ansinnen versteht - ich bin das nicht. unglücklich

20.08.2021, 17:50

MrBoogey

Auf diesen Beitrag antworten »

Naja die b) ist ja gelöst.
Auf jeden Fall danke. Für deine Hilfe smile