Likelihood Funktion

09.08.2011, 17:17

Therry

Auf diesen Beitrag antworten »

Likelihood Funktion

Meine Frage:
Hallo zusammen,
ich habe folgende Frage:
Wann ist denn die Likelihoodfunktion nicht differenzierbar?

Meine Ideen:
Ich weiß dass das zum Beispiel bei der GLeichverteilung der Fall ist, aber woran liegt das?
Liegt das daran dass die x für welche die Likelihoodfkt definiert ist von dem Parameterraum abhängt? Wenn ja, warum ist sie dann nciht differenzierbar?
Was muss denn allgemein gelten, dass die Likelihoodfunktion differenzierbar ist und was muss gelten dass das nicht der Fall ist?
Wäre super wenn sich jemand meldet und Licht ins Dunkle bringt;-)

09.08.2011, 17:53

Math1986

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Es hängt davon ab, ob der Parameterraum diskret oder stetig ist, bei der diskreten Gleichverteilung musst du das Maximum durch Ausprobieren ermitteln, bei der stetigen kannst du differenzieren.

09.08.2011, 18:30

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Warum ist das so? Wieso kann bei der stetigen differenziert werden und bei der diskreten nicht?

09.08.2011, 18:40

Math1986

Auf diesen Beitrag antworten »

RE: Likelihood Funktion

Zitat:

Original von Therry
Warum ist das so? Wieso kann bei der stetigen differenziert werden und bei der diskreten nicht?

Wie würdest du denn eine Funktion über einer diskreten Menge differenzieren? verwirrt

verwirrt

Du kannst bspw auch nicht über $\begin{eqnarray*} \mathbb Z \end{eqnarray*}$ differenzieren.

09.08.2011, 18:55

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
ok stimmt das zu verusuchen wird nciht klappen;-)
ABer ich habe zum beispiel im Skript folgendes Beispiel:

Wir betrachten die parametrische FAmilie:
{P, tetta in Groß Tetta}= {U(0,b), b>0}

Der Parameterraum ist doch stetig oder nicht? Also müsste ich über die ABleitung der Likelihoodfunktion argumentieren können. die da wäre:
L(x1,..., xn;b)= 1/ $\begin{eqnarray*} b^{n} \end{eqnarray*}$

Hier wird nun anders argumentiert um den Schätzer zu finden und zwar weil die funktion monoton fallend ist ist für b| max{xa,...xn}>= 0

KAnn das nun sein dass sie hier nicht über ableitungen argumentieren, weil ich über die Ableitung der Likelihoodfunktion keine aussage treffen kann oder wie?

09.08.2011, 19:13

Math1986

Auf diesen Beitrag antworten »

RE: Likelihood Funktion

Zitat:

Original von Therry
ok stimmt das zu verusuchen wird nciht klappen;-)
ABer ich habe zum beispiel im Skript folgendes Beispiel:

Wir betrachten die parametrische FAmilie:
{P, tetta in Groß Tetta}= {U(0,b), b>0}

Der Parameterraum ist doch stetig oder nicht? Also müsste ich über die ABleitung der Likelihoodfunktion argumentieren können. die da wäre:
L(x1,..., xn;b)= 1/ $\begin{eqnarray*} b^{n} \end{eqnarray*}$

Hier wird nun anders argumentiert um den Schätzer zu finden und zwar weil die funktion monoton fallend ist ist für b| max{xa,...xn}>= 0

KAnn das nun sein dass sie hier nicht über ableitungen argumentieren, weil ich über die Ableitung der Likelihoodfunktion keine aussage treffen kann oder wie?

In der Likelihood-Funktion ist noch eine Fallunterscheidung drin versteckt, die Gleichung
$\begin{eqnarray*} L(x1_,\ldots, x_n;b)= \frac{1}{b^{n}} \end{eqnarray*}$
gilt nämlich nicht auf ganz $\begin{eqnarray*} \mathbb R \end{eqnarray*}$
Prinzipiell ist diese Funktion jedoch differenzierbar (abgesehen von Sprungstellen).

Am Besten zeichnest du dir diese Funktion, dann wird es klar. smile

smile

Anzeige

09.08.2011, 19:16

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Ja stimmt das hab ich unterschlagen, für 0<= x<= b ist sie 1/b^n und null sonst
Ich habs mir auch shcon aufgezeichnet
heißt das dann dass ich sie nciht differenzieren kann, weil sie nciht stetig ist oder wie?

09.08.2011, 19:17

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
verwirrt

verwirrt

hmm aber das würde ja deiner antwort widersprechen.

Wieso argumentieren die denn nun nciht über die ableitung?
Hammer

Hammer

09.08.2011, 19:20

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
In einem Prüfungsprotokoll hat der Prof das irgendwie mit der Endlichkeit des Parameterraumes versucht zu erklären, dass hier die differenzierbarkeit nicht funktioniert...
Ah ich bin verwirrt:-(

09.08.2011, 20:12

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Die Likelihood der Stichprobe ist praktisch immer nach den Parametern der Verteilung differenzierbar. Das gilt bei stetigen und bei diskreten Verteilungen. Ich wüsste da im Moment gar kein Gegenbeispiel.

Aber durch differenzieren bekommt man ja nur Kandidatenpunkte für lokale Extrema. Das Maximum der Likelihood kann aber auch ein Randextremum sein und das findet man nicht durch differenzieren. Eine Gleichverteilung hat zum Beispiel die Parameter u (Untergrenze) und o (Obergrenze). Die Dichte ist dann 1/(o - u). Die Likelihood einer Stichprobe vom Umfang n ist

$\begin{eqnarray*} L=\frac{1}{(o-u)^n} \end{eqnarray*}$

L wird um so größer, je kleiner die Differenz (o - u) wird. Da alle Elemente der Stichprobe im Intervall [u, o] liegen müssen, hat man die Bedingungen

$\begin{eqnarray*} u \leq x_{min} \quad o \geq x_{max} \end{eqnarray*}$

Das Maximum von L unter Berücksichtigung dieser Bedingungen ist

$\begin{eqnarray*} u= x_{min} \quad o = x_{max} \end{eqnarray*}$

Das Maximum liegt also am Rand des für o und u aufgrund der Stichprobe zulässigen Parameterbereichs und das findet man nicht differenzieren, obwohl L nach u und o differenzierbar ist.

09.08.2011, 20:19

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Hey super danke. jetzt hab ich das kapiert;-)

Hm da hät ich nochmal ne Frage zum Maximum Likelihood schätzer, kannst du mir vielleicht sagen, warum dieser Für die Gleichverteilung asymptotisch erwartungstreu ist bekomm das nicht hin. Der schätzer ist max{Xi}

Das wäre super,
vielen Dank

09.08.2011, 21:26

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Das kannst du ganz geradlinig zeigen. Nimm die Dichte von $\begin{eqnarray*} X_{max} \end{eqnarray*}$ und berechne damit $\begin{eqnarray*} E(X_{max}) \end{eqnarray*}$ . Dann wirst du sehen:

$\begin{eqnarray*} \lim_{n \to \infty} E(X_{max})=o \end{eqnarray*}$

09.08.2011, 22:12

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
ist dann E(x)= $\begin{eqnarray*} \int_0^x \ 1/b* xmax \, dx \end{eqnarray*}$

oder?
aber wie rechnet mand as dann aus?
Wäre um ne weitere kleine HIlfestellung dankbar:-)

09.08.2011, 22:17

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
wie sieht denn die Dichte von xmax aus?

10.08.2011, 08:35

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Beginne mit der Verteilungsfunktion von $\begin{eqnarray*} X_{max} \end{eqnarray*}$ . Die gewinnt man leicht aus der Verteilungsfunktion der $\begin{eqnarray*} X_i \end{eqnarray*}$ . Damit $\begin{eqnarray*} X_{max}\leq x \end{eqnarray*}$ gilt, muss ja $\begin{eqnarray*} X_i\leq x \end{eqnarray*}$ für alle i gelten. Und da die $\begin{eqnarray*} X_i \end{eqnarray*}$ unabhängig voneinander sind, kann man das nach der Produktregel für unabhängige Zufallsvariablen berechnen. Dann nur noch ableiten und du hast die Dichte $\begin{eqnarray*} X_{max} \end{eqnarray*}$ .

10.08.2011, 09:21

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
hmmm ich bekomms echt nicht hin:-(
also
die dichte von Xi ist $\begin{eqnarray*} b^{-n} \end{eqnarray*}$

leitet man das nach b ab so kommt $\begin{eqnarray*} -n*b^{-n-1} \end{eqnarray*}$ raus.

und dann integriert man doch das ganze mit x multipliziert und den Integralgrenzen 0 und b.
ABer dann kommt bei mir bei weitem nciht das raus, was rauskommen sollte.

Oh man;-(Kannst du mir nochmal helfen?
das wäre super...

10.08.2011, 09:31

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Jetzt halte dich einfach mal an meinen Vorschlag und gehe Schritt für Schritt vor. Die $\begin{eqnarray*} X_i \end{eqnarray*}$ seien gleichverteilt in einem Intervall [u, o].

Schritt 1: Wie lautet die Verteilungsfunktion $\begin{eqnarray*} F_X(x) \end{eqnarray*}$ der $\begin{eqnarray*} X_i \end{eqnarray*}$ ?
Und mit Verteilungsfunktion meine ich die Verteilungsfunktion, nicht die Dichte!

10.08.2011, 09:46

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
das wäre dann F= (x-u)/(o-u)
oder?
und dann?

10.08.2011, 09:50

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Das ist richtig.

Schritt 2: Wie lautet also die Verteilungsfunktion von $\begin{eqnarray*} X_{max} \end{eqnarray*}$ ?
Lies noch mal bei mir nach, wie man die aus der Verteilungsfunktion der $\begin{eqnarray*} X_i \end{eqnarray*}$ gewinnt.

10.08.2011, 10:26

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
ich leit das nach x ab und dann kommt 1/(u-o) raus.
das ist dann die Verteilungsfnkt von Xmax?

10.08.2011, 10:27

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
ICh mein die Dichte

10.08.2011, 10:33

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Unsinn! Dann hast du die Dichte der $\begin{eqnarray*} X_i \end{eqnarray*}$ und die kennst du schon.
Ich mache mir ernsthaft Sorgen um dein Leseverständnis. Hier noch mal mein Hinweis:

Zitat:

Original von Huggy
Beginne mit der Verteilungsfunktion von $\begin{eqnarray*} X_{max} \end{eqnarray*}$ . Die gewinnt man leicht aus der Verteilungsfunktion der $\begin{eqnarray*} X_i \end{eqnarray*}$ . Damit $\begin{eqnarray*} X_{max}\leq x \end{eqnarray*}$ gilt, muss ja $\begin{eqnarray*} X_i\leq x \end{eqnarray*}$ für alle i gelten. Und da die $\begin{eqnarray*} X_i \end{eqnarray*}$ unabhängig voneinander sind, kann man das nach der Produktregel für unabhängige Zufallsvariablen berechnen.

Es wird also jetzt noch nicht abgeleitet. Und ich weise noch mal auf Produktregel hin.

10.08.2011, 10:40

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
ok dann wäre das quasi
((x-u)/(o-u))^n
und das ganze dann nach x ableiten:
(1/(o-u))^n*n*(x-u)^(n-1)

10.08.2011, 10:46

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Richtig, endlich.
Jetzt hast du die Dichte von $\begin{eqnarray*} X_{max} \end{eqnarray*}$ . Und damit kannst du jetzt den Erwartungswert von $\begin{eqnarray*} X_{max} \end{eqnarray*}$ berechnen.

P. S: Benutze doch bitte Latex für die Formeln. Spätestens jetzt beim Integral wird es sonst schwer lesbar.

10.08.2011, 11:14

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
$\begin{eqnarray*} \int_u^x \! x*\frac{1}{(u-o)^{n}}*(x-u)^{n-1} \, dx \end{eqnarray*}$

das müsste dann der erwartungswert sein. aber bei den integrationsgrenzen bin ich mir nicht sicher.

10.08.2011, 11:15

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
hab noch ein n vergessen mit dem die gleichumg multipliziert wird.

10.08.2011, 11:20

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Die obere Grenze muss o sein. Für Erwartungswerte etc. wird immer von $\begin{eqnarray*} -\infty \end{eqnarray*}$ bis $\begin{eqnarray*} \infty \end{eqnarray*}$ integriert. Für die Berechnung reduziert sich das auf den Bereich, in dem die Dichte nicht 0 ist.

Nächster Schritt: Das Integral ausrechnen.
Das vergessene n war wichtig.

Danke, dass du Latex benutzt hast.

10.08.2011, 11:38

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Hey super vielen lieben dank es kommt tatsächlich raus;-) FInd ich echt super dass du dir die Zeit genommen hast um mir das zu erklären.
smile

smile

10.08.2011, 11:40

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Es freut einen immer, wenn man helfen konnte.

Und jetzt sag mal, das war doch eigentlich nicht so schwer?

10.08.2011, 11:45

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
Ne das war wirklich nicht so megaschwer, aber hab einfach immer Problemchen, wenns nicht nach Schma F geht;-)#

wenn ich dann zum beispiel auch zeigen will, dass 1/xn (wobei xn das arithmetische Mittel ist) bei der Exponentialverteilung nicht erwartungstreu ist, geh ich dann genauso vor. Dichte von xn bestimmen und dann den erwartungswert mit dem Integral bilden oder?

10.08.2011, 11:56

Huggy

Auf diesen Beitrag antworten »

RE: Likelihood Funktion

Zitat:

Original von Therry
wenn ich dann zum beispiel auch zeigen will, dass 1/xn (wobei xn das arithmetische Mittel ist) bei der Exponentialverteilung nicht erwartungstreu ist, geh ich dann genauso vor. Dichte von xn bestimmen und dann den erwartungswert mit dem Integral bilden oder?

Nicht ganz. Du brauchst dann die Dichte von 1/xn.
Das allgemeine Vorgehen ist immer gleich. Die Dichte des Schätzers bestimmen und mit dieser seinen Erwartungswert.

Gab es nicht schon einen Thread von dir dazu?

Edit: Mit der Dichte von xn geht es auch. Mit der kann man auch E(1/xn) ausrechnen.

10.08.2011, 12:05

Therry

Auf diesen Beitrag antworten »

RE: Likelihood Funktion
alles klar, wollt nur nochmal sicher gehen;-)

Vielen Dank für deine Mühe.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »