Maximum-Likelihood-Schätzer

09.09.2021, 01:04

Boogey

Auf diesen Beitrag antworten »

Maximum-Likelihood-Schätzer

Hey Leute bin weiter beim Üben mit Maximum Likelihood

Meine Ansätze sind im Foto .
Jetzt komme ich irgendwie nicht mehr weiter ?

Wahrscheinlich muss ich jetzt irgendwie den rechten Term ableiten und dann = 0 setzen?

Aber wie leite ich genau den rechten Term ?

Ich probiere mal Ableitung :
$\begin{eqnarray*} n* \sigma \sqrt{2\pi } + \frac{4}{\sigma^3} \end{eqnarray*}$

Was passiert bei der Ableitung mit dem xk über die Summe ?

09.09.2021, 09:07

Huggy

Auf diesen Beitrag antworten »

RE: Maximum Likelihood Schätzer 3

Zitat:

Original von Boogey
Meine Ansätze sind im Foto .

Wenn du in der 3. Zeile auf die linke Seite $\begin{eqnarray*} \ln L \end{eqnarray*}$ schreibst, ist das so weit richtig, wobei man den verbleibenden Logarithmus noch etwas vereinfachen könnte.

Zitat:

Wahrscheinlich muss ich jetzt irgendwie den rechten Term ableiten und dann = 0 setzen?

Ja.

Zitat:

Ich probiere mal Ableitung :
$\begin{eqnarray*} n* \sigma \sqrt{2\pi } + \frac{4}{\sigma^3} \end{eqnarray*}$

Was passiert bei der Ableitung mit dem xk über die Summe ?

Das ist nicht richtig. Vereinfache zunächst noch den ersten Summanden. Was ist die Ableitung von $\begin{eqnarray*} \ln \sigma \end{eqnarray*}$ ? Die $\begin{eqnarray*} 4 \end{eqnarray*}$ bei der Ableitung des 2. Summanden ist auch nicht korrekt. Die Summe über die $\begin{eqnarray*} x_k \end{eqnarray*}$ ist bezüglich der Ableitung nach $\begin{eqnarray*} \sigma \end{eqnarray*}$ eine Konstante und bleibt als Faktor unverändert stehen.

09.09.2021, 09:07

HAL 9000

Auf diesen Beitrag antworten »

Erneut sehr weit weg vom richtigen Ableitungsergebnis $\begin{eqnarray*} -\frac{n}{\sigma} + \frac{1}{\sigma^3}\sum_{k=1}^n x_k^2 \end{eqnarray*}$ .

Ich weiß leider auch nicht, warum es dir so schwer fällt, die Regeln für Ableiten und algebraisches Umformen einzuhalten. Die Fehlerrate ist so hoch, dass es bei einigermaßen komplexen Formeln nahezu unmöglich ist, mal auf das richtige Ergebnis zu kommen.

09.09.2021, 09:15

Boogey

Auf diesen Beitrag antworten »

Da stand doch ein 1/2 vor der Summe ? verwirrt

verwirrt

09.09.2021, 09:32

HAL 9000

Auf diesen Beitrag antworten »

$\begin{eqnarray*} \frac{\dd}{\dd\sigma}\left( -\frac{1}{2\sigma^2}\right) = \frac{\dd}{\dd\sigma}\left( -\frac{1}{2}\sigma^{-2}\right) = -\frac{1}{2}\cdot (-2) \sigma^{-2-1} = \sigma^{-3} = \frac{1}{\sigma^3} \end{eqnarray*}$

09.09.2021, 10:03

MrBoogey

Auf diesen Beitrag antworten »

Kannst du wenn du dabei bist auch kurz erklären warum n/sigma ?

ln(x) abgeleitet ist ja 1/x ?

Warum fällt der Wurzel aus 2pi Term weg ?

Anzeige

09.09.2021, 10:17

HAL 9000

Auf diesen Beitrag antworten »

Zwei Möglichkeiten stehen dir offen:

1) Direkt ableiten nach Kettenregel

$\begin{eqnarray*} \frac{\dd}{\dd\sigma} \ln\left( \frac{1}{\sigma\sqrt{2\pi}}\right) = \sigma\sqrt{2\pi}\cdot \frac{\dd}{\dd\sigma} \left( \frac{1}{\sigma\sqrt{2\pi}}\right) = \sigma\sqrt{2\pi}\cdot \frac{1}{\sqrt{2\pi}} \frac{\dd}{\dd\sigma} \left( \frac{1}{\sigma} \right) = \sigma\cdot \left( -\frac{1}{\sigma^2} \right) = -\frac{1}{\sigma} \end{eqnarray*}$

Kann man so machen, ist aber furchtbar umständlich. Deshalb wohl besser

2) Vorheriges Anwenden der Logarithmenregeln, d.h. Umformen des abzuleitenden Terms gemäß

$\begin{eqnarray*} \ln\left( \frac{1}{\sigma\sqrt{2\pi}}\right) = -\ln\left( \sigma\sqrt{2\pi}\right)= -\ln\left( \sigma\right) - \ln\left(\sqrt{2\pi}\right) \end{eqnarray*}$ .

Dann ist

$\begin{eqnarray*} \frac{\dd}{\dd\sigma} \ln\left( \frac{1}{\sigma\sqrt{2\pi}}\right) = \frac{\dd}{\dd\sigma}\left( -\ln\left( \sigma\right) - \ln\left(\sqrt{2\pi}\right) \right) = -\frac{1}{\sigma}-0 \end{eqnarray*}$ .

Wie ich schon sagte: Du hältst einfach sehr oft die Regeln nicht ein, sowohl beim Ableiten (diesmal war es die Ignoranz der Kettenregel) als auch beim Term-Umformen. Als kleiner Hoffnungsschimmer hat letzteres diesmal ja wenigstens bei der Likelihoodfunktion geklappt (d.h. vor dem Ableiten).

09.09.2021, 10:38

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} -\frac{n}{\sigma} + \frac{1}{\sigma^3}\sum_{k=1}^n x_k^2 = 0 \end{eqnarray*}$

ja war schon froh ,dass ich euch überhaupt dieses mal Ansätze posten konnte Big Laugh

Big Laugh

Der letzte Weg ist tatsächlich der beste von dir.

Ich multipliziere mal jetzt mit sigma^3 durch

$\begin{eqnarray*} -\sigma^2+ 1\sum_{k=1}^n x_k^2 = 0 \end{eqnarray*}$

$\begin{eqnarray*} .\sigma =\sqrt[]{.\sum_{k=1}^n x_k^2 }. \end{eqnarray*}$ .

Jetzt bin ich net sicher
Wenn ich die Wurzel ziehen würde ,dann wäre das sigma ja die Summer über xk ? Big Laugh

Big Laugh

09.09.2021, 10:53

HAL 9000

Auf diesen Beitrag antworten »

1) Es fehlt der Faktor $\begin{eqnarray*} \frac{1}{n} \end{eqnarray*}$ vor der Summe der Quadrate.

Zitat:

Original von MrBoogey
Wenn ich die Wurzel ziehen würde ,dann wäre das sigma ja die Summer über xk ?

2) Es führt KEIN Weg dahin, die Wurzel "in die Summe hineinzuziehen". Diesen furchtbaren Unsinn hattest du hier schon mal verzapft. Deine Lernresistenz ist wirklich zum Kotzen

Kotzen

09.09.2021, 11:07

MrBoogey

Auf diesen Beitrag antworten »

$\begin{eqnarray*} \sigma =\frac{\sqrt[]{.\sum_{k=1}^n x_k^2} }{n} \end{eqnarray*}$

Hatte das n vergessen Big Laugh

Big Laugh

Besser ?

09.09.2021, 11:11

MrBoogey

Auf diesen Beitrag antworten »

[quote]Original von MrBoogey
$\begin{eqnarray*} \sigma =\sqrt{\frac{\sum_{k=1}^n x_k^2}{n} } \end{eqnarray*}$

Hatte das n vergessen Big Laugh

Big Laugh

Korrigiert nochmal Big Laugh

Big Laugh

Richtig ?

09.09.2021, 11:11

HAL 9000

Auf diesen Beitrag antworten »

Auch wieder falsch. Der Schätzer ist $\begin{eqnarray*} \hat\sigma =\sqrt{\frac{1}{n}\sum_{k=1}^n x_k^2} \end{eqnarray*}$ .

Wenn man das $\begin{eqnarray*} n \end{eqnarray*}$ unbedingt rausziehen will, dann doch bitte gemäß Potenzregeln: $\begin{eqnarray*} \hat\sigma =\frac{\sqrt{\sum\limits_{k=1}^n x_k^2}}{\sqrt{n}} \end{eqnarray*}$ .

09.09.2021, 11:13

MrBoogey

Auf diesen Beitrag antworten »

Zitat:

Original von MrBoogey
[quote]Original von MrBoogey
$\begin{eqnarray*} \sigma =\sqrt{\frac{\sum_{k=1}^n x_k^2}{n} } \end{eqnarray*}$

Hatte das n vergessen Big Laugh

Big Laugh

Korrigiert nochmal Big Laugh

Big Laugh

Richtig ?

Geht es auch so wie hier bei mir oben ?

Habt ihr tipps für die b) ?

Was wollen die da genau von mir ?

09.09.2021, 11:23

HAL 9000

Auf diesen Beitrag antworten »

Wie soeben berechnet haben wir ja $\begin{eqnarray*} \hat\sigma^2 = \frac{1}{n}\sum_{k=1}^n x_k^2 \end{eqnarray*}$ für eine konkrete Stichprobe $\begin{eqnarray*} (x_1,\ldots,x_n) \end{eqnarray*}$ .

Eine solche konkrete Stichprobe betrachtet man in der Mathematischen Statistik als Realisierung einer sogenannten Mathematischen Stichprobe $\begin{eqnarray*} (X_1,\ldots,X_n) \end{eqnarray*}$ : Das sind $\begin{eqnarray*} n \end{eqnarray*}$ unabhängige identisch verteilte Zufallsgrößen, alle gemäß der Grundgesamtheit verteilt, in deinem Fall also $\begin{eqnarray*} X_k\sim \mathcal{N}\left(0,\sigma^2\right) \end{eqnarray*}$ .

In diesem Sinne kann man die Größe $\begin{eqnarray*} \hat\sigma^2 = \frac{1}{n}\sum_{k=1}^n X_k^2 \end{eqnarray*}$ (d.h. die $\begin{eqnarray*} x_k \end{eqnarray*}$ werden durch die $\begin{eqnarray*} X_k \end{eqnarray*}$ ersetzt) als Zufallsgröße auffassen. Erwartungstreue bedeutet nun, dass $\begin{eqnarray*} E\left(\hat\sigma^2\right) = \sigma^2 \end{eqnarray*}$ erfüllt sein sollte - man muss eben durch Ausrechnen dieses Erwartungswerts links überprüfen, ob diese Gleichheit mit dem Wert $\begin{eqnarray*} \sigma^2 \end{eqnarray*}$ hier tatsächlich erfüllt ist.

09.09.2021, 18:24

MrBoogey

Auf diesen Beitrag antworten »

Soll ich dafür irgendwie Werte einsetzen?

09.09.2021, 18:50

HAL 9000

Auf diesen Beitrag antworten »

Nein, zum wiederholten Male: Du sollst

$\begin{eqnarray*} E\left(\hat\sigma^2\right) = E\left( \frac{1}{n}\sum_{k=1}^n X_k^2 \right) \stackrel{!}{=} \sigma^2 \end{eqnarray*}$

nachweisen, wobei du $\begin{eqnarray*} X_k\sim \mathcal{N}\left(0,\sigma^2\right) \end{eqnarray*}$ voraussetzen darfst.

09.09.2021, 23:48

MrBoogey

Auf diesen Beitrag antworten »

Ach ich habe jetzt Angst zu sagen ,dass ich immer noch nicht weiter weiss Big Laugh

Big Laugh

10.09.2021, 07:07

HAL 9000

Auf diesen Beitrag antworten »

Ok, also auch bei stochastischen Grundkenntnissen wie "Rechnen mit Erwartungswerten" Null und Nichts an Kenntnissen - wie konnte ich nur so naiv sein anzunehmen, dass da was vorhanden wäre. Nein, ich steige aus.

10.09.2021, 08:03

MrBoogey

Auf diesen Beitrag antworten »

Kein Problem ,Danke aber für die a) Big Laugh

Big Laugh

10.09.2021, 08:31

Huggy

Auf diesen Beitrag antworten »

Schrittweises Heranführen erscheint mir angesichts der völligen Unkenntnis auch sinnlos. Ich ergänze einfach mal die Lösung. Zunächst folgt aus der Linearität des Erwartungswerts

$\begin{eqnarray*} E\left( \frac{1}{n}\sum_{k=1}^n X_k^2 \right)=\frac{1}{n}E\left( \sum_{k=1}^n X_k^2 \right)=\frac 1 n \sum_{k=1}^n E(X_k^2) \end{eqnarray*}$

Nun haben alle $\begin{eqnarray*} X_k \end{eqnarray*}$ dieselbe Verteilung. Es ist also $\begin{eqnarray*} E(X_i^2)=E(X_j^2)=E(X^2) \end{eqnarray*}$ für alle $\begin{eqnarray*} i,j \end{eqnarray*}$ , wobei wieder $\begin{eqnarray*} X\sim \mathcal{N}\left(0,\sigma^2\right) \end{eqnarray*}$ sein soll. Also hat man

$\begin{eqnarray*} \frac 1 n \sum_{k=1}^n E(X_k^2)=\frac 1 n \sum_{k=1}^n E(X^2)=\frac 1 n \cdot n \cdot E(X^2)=E(X^2) \end{eqnarray*}$

Für die Varianz $\begin{eqnarray*} V(Y) \end{eqnarray*}$ einer Zufallsvariablen $\begin{eqnarray*} Y \end{eqnarray*}$ gilt allgemein

$\begin{eqnarray*} V(Y)=E(Y^2)-(E(Y))^2 \end{eqnarray*}$

Für obige Zufallsgröße $\begin{eqnarray*} X \end{eqnarray*}$ ist $\begin{eqnarray*} E(X)=0 \end{eqnarray*}$ , also

$\begin{eqnarray*} E(X^2)=E(X^2)-0=E(X^2)-(E(X))^2=V(X)=\sigma^2 \end{eqnarray*}$

Wir haben also insgesamt

$\begin{eqnarray*} E(\hat \sigma^2)=V(X) =\sigma^2 \end{eqnarray*}$

Es sei noch angemerkt, dass zwar $\begin{eqnarray*} \hat \sigma^2 \end{eqnarray*}$ ein erwartungstreuer Schätzer für $\begin{eqnarray*} \sigma^2 \end{eqnarray*}$ ist, aber $\begin{eqnarray*} \hat \sigma \end{eqnarray*}$ kein erwartungstreuer Schätzer von $\begin{eqnarray*} \sigma \end{eqnarray*}$ ist.

10.09.2021, 08:39

HAL 9000

Auf diesen Beitrag antworten »

Danke für die Entlastung. Augenzwinkern

Augenzwinkern

Interessanterweise stimmt das mit der Erwartungstreue des ML-Varianzschätzers nicht, wenn eine Normalverteilung $\begin{eqnarray*} \mathcal{N}\left(\mu,\sigma^2\right) \end{eqnarray*}$ vorliegt, wo sowohl $\begin{eqnarray*} \mu \end{eqnarray*}$ als auch $\begin{eqnarray*} \sigma^2 \end{eqnarray*}$ geschätzt werden müssen: Da ist

$\begin{eqnarray*} \hat{\mu} = \frac{1}{n}\sum_{k=1}^n X_k = \bar{X} \end{eqnarray*}$
$\begin{eqnarray*} \hat{\sigma}^2 = \frac{1}{n}\sum_{k=1}^n \left(X_k-\bar{X}\right)^2 \end{eqnarray*}$

mit zwar $\begin{eqnarray*} E\left(\hat{\mu}\right) = \mu \end{eqnarray*}$ , aber $\begin{eqnarray*} E\left(\hat{\sigma}^2\right) = \frac{n-1}{n}\sigma^2 \end{eqnarray*}$ , d.h. "nur" asymptotischer Erwartungstreue des ML-Varianzschätzers.

10.09.2021, 15:46

MrBoogey

Auf diesen Beitrag antworten »

Danke euch beiden

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »