Maximum-Likelihood-Methode

30.12.2011, 11:30	Schätzer	Auf diesen Beitrag antworten »
Maximum-Likelihood-Methode Hallo, wir hatten vor kurzem die Maximum-Likelihood-Methode. Nun wollte ich zur Wiederholung eine Aufgabe rechnen, die wir schon mal in einer Übung bearbeitet haben. Ersteinmal das, was ich mir unter der Maximum-Likelihood-Methode vorstellt: Man hat eine feste Stichprobe von n Elementen, deren Verteilung man weiß aber nicht, wie diese parametrisiert ist. Mit Maximum-Likelihood-Methode versucht man jetzt den unbekannten Parameter derart zu optimieren, dass die ermittelte Stichprobe am wahrscheinlichsten wird. Nun zur Aufgabe: Man beobachtet n Zufallsvariablen X1 bis Xn. Diese seien voneinander unabhängig und gleichverteilt. Die Verteilung ist durch die Wahrscheinlichkeitsdichte gegeben: $\begin{eqnarray} f(x)=e^{-(x-\theta)}\cdot \mathbf{1}_{(x\ge \theta)} , \theta \in \mathbf{R} \end{eqnarray}$ Hier stellt die dicke 1 die charakteristische Funktion dar. Nun möchte ich die Likelihood Funktion aufstelle. Dazu bilde ich: $\begin{eqnarray} L(\theta)=\prod_{i=1}^n f(x_i,\theta)=e^{n\theta}\cdot e^{-\sum_{i=1}^n x_i} \cdot \mathbf{1}_{(\min x_i \ge \theta)} \end{eqnarray}$ Nun meine $\begin{eqnarray} Probleme \end{eqnarray}$ . 1. Was stellt das x_i in dem Fall konkret dar? Sind diese für die konkrete Stichprobe fest? Hat dazu jemand evtl. ein praktisches Beispiel? Nun möchte ich L gerne logarithmieren dazu wurde in unserer Musterlösung eine Fallunterscheidung durchgeführt und zwar für: $\begin{eqnarray} \min X_i \ge \theta \end{eqnarray}$ und $\begin{eqnarray} \min X_i < \theta \end{eqnarray}$ 2. Wieso wird hier die Fallunterscheidung für den Großbuchstaben X durchgeführt, also für die Realisierungen? Ich hätte das jetzt wie folgt gemacht: $\begin{eqnarray} \ln L(\theta) = n\cdot \theta - \sum_{i=1}^n x_i \end{eqnarray}$ , falls $\begin{eqnarray} \min x_i \ge \theta \end{eqnarray}$ und $\begin{eqnarray} -\infty \end{eqnarray}$ , falls $\begin{eqnarray} \min x_i < \theta \end{eqnarray}$ 3. Wie fährt man jetzt fort? Für den zweiten Fall ist die Wahl des Schätzers scheinbar irrellevant.
30.12.2011, 11:55	Gast11022013	Auf diesen Beitrag antworten »
RE: Maximum-Likelihood-Methode Zunächst: Ich bin selbst noch nicht allzu lange mit der Maximum-Likelihood-Methode bekannt. Was mir aufgefallen ist: Du solltest besser sagen, daß die Zufallsvariablen unabhängig und identisch verteilt sind. Wenn Du sagst "gleichverteilt", kann das zu Missverständnissen führen. Dann: Die $\begin{eqnarray} x_i \end{eqnarray}$ stellen die Realisierungen dar. Du hast die Einzeldichten $\begin{eqnarray} f(x_i)=e^{-(x_i-\theta)} \end{eqnarray}$ und bildest dann für die gemeinsame Verteilung des Vektors $\begin{eqnarray} \vec X=(X_1,...,X_n) \end{eqnarray}$ die Produktdichte. Deine zweite Frage verstehe ich nicht. Und zu Deiner dritten Frage: Du musst jetzt das Maximum bestimmen, was in der Regel bedeutet: Ableitung bilden, Nullsetzen, Kandidat ausfindig machen und mit der zweiten Ableitung überprüfen, ob es sich um ein Maximum handelt.
30.12.2011, 12:09	Schätzer	Auf diesen Beitrag antworten »
Danke erst mal. Deine Einwände kann ich nachvollziehen. Nur sind die x_i fest, oder variabel? Deswegen hatte ich ja nach einem Beispiel aus der Praxis gefragt, damit ich mir darunter was vorstellen kann. Eventuell fällt dir noch etwas ein. Zur zweiten Frage. In unserer Musterlösung steht: $\begin{eqnarray} l_n(\theta)=\theta - \overline X \end{eqnarray}$ , wenn $\begin{eqnarray} \min X_i \ge \theta \end{eqnarray}$ $\begin{eqnarray} l_n(\theta)=-\infty \end{eqnarray}$ , wenn $\begin{eqnarray} \min X_i <\theta \end{eqnarray}$ Ich vermute, dass l_n steht für das logarithmierte L, welches man noch durch n geteilt hat, was ja auf die Maximierung keinen Einfluss hat. Und hier wird die Unterscheidung eben anhand der Zufallsvariable vorgenommen und nicht anhand der Realisierung. Und das verstehe ich nicht. Es kann sich natürlich auch um einen Fehler in der Musterlösung handeln.
30.12.2011, 12:23	Gast11022013	Auf diesen Beitrag antworten »
Die $\begin{eqnarray} x_i \end{eqnarray}$ sind fest. Das ist gerade der "Witz" der Likelihood-Funktion: Was ihr vermutlich vor der Maximum-Likelihood-Methode gemacht habt, war Folgendes: Für einen festen (unbekannten, zu schätzenden) Parameter wurde die Dichte für beliebige Realisierungen $\begin{eqnarray} x_1,...,x_n \end{eqnarray}$ ausgewertet. Jetzt dreht sich die Sichtweise sozusagen um: Für beobachtete, also feste Realisierungen wird die Dichte als Funktion des Parameters interpretiert und das liefert die Likelihood-Funktion. Ja, die $\begin{eqnarray} l_n(\theta) \end{eqnarray}$ würde ich so auch verstehen, es wurde einfach durch $\begin{eqnarray} n \end{eqnarray}$ dividiert. Und ich denke mal, daß man $\begin{eqnarray} X_i \end{eqnarray}$ statt $\begin{eqnarray} x_i \end{eqnarray}$ schreibt, ist eigentlich nicht so gravierend, man weiß ja, daß die Realisierung dieser Zufallsvariable gemeint ist, da man ja von bekannten Realisierungen ausgeht. Aber vielleicht ist das schon ein bisschen unsauber. Oder ich kapiere auch nicht, wieso man das gemacht hat.
30.12.2011, 12:28	Schätzer	Auf diesen Beitrag antworten »
Ok. Aber hast du verstanden, warum in der Fallunterscheidung auf einmal mit der Zufallsvariable gearbeitet wurde und nicht mehr mit den Realisierungen?
30.12.2011, 12:31	Gast11022013	Auf diesen Beitrag antworten »
Nicht absolut sicher. Ich denke, das ist wohl eine Unaufmerksamkeit oder man will einfach sich nicht mehr auf die konkrete Realisierung beziehen, sondern ganz allgemein sagen: "Egal, wie sich diese Zufallsvariable konkret realisiert hat, wenn dies und das gilt, dann..."
Anzeige

30.12.2011, 12:43	Schätzer	Auf diesen Beitrag antworten »
Ok vielen Dank. Vielleicht findet sich ja noch jemand, der mehr dazu sagen kann. Aber diese Gleichung ist ja eine einfache steigende gerade. Damit ist das globale Maximum bei $\begin{eqnarray} \theta=\min x_i \end{eqnarray}$ bzw. wie in der Lösung angegeben: $\begin{eqnarray} \theta=\min X_i \end{eqnarray}$ , wobei mir der Unterschied zwischen den beiden Aussagen noch nicht ganz klar ist.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »