ML - Schätzer für Gleichverteilung

01.12.2004, 18:40

yeti777

ML - Schätzer für Gleichverteilung

Hallo,

Gegeben: G(a,b), Gleichverteilung über (|R, |B)( |B BOREL'sche sigma-Algebra) bez. des Intervalls [a,b] aus |R mit a < b.

Seien weiter x := (x1, x2,...., xn) € |R^n mit x := (x1 < x2 < .... < xn) nach Grösse geordnete Realisationen der einfachen Stichprobe X := (X1, X2,...,Xn), wo die Stichprobenvariablen Xi einer G(a,b) mit unbekanntem Parameter (a,b), i € |Nn folgen. Der Parameterraum sei mit gross-gamma bezeichnet (leider hat es kein Symbol für das grosse gamma).

Gesucht: ML - Schätzer für (a,b).

Die Likelihood-Funktion ist gegeben durch $\begin{eqnarray*} \ L_x : gross-gamma -> \mathbb R + \end{eqnarray*}$ mit $\begin{eqnarray*} \ L_x(\gamma ) := f_\gamma (x), \gamma \in gross-gamma \end{eqnarray*}$ .

Ich habe kapiert, dass die Likelihood-Funktion eine Funktion des Parameters $\begin{eqnarray*} \gamma \end{eqnarray*}$ ist und die Dichte $\begin{eqnarray*} f_\gamma (x) \end{eqnarray*}$ dagegen eine Funktion der Elemente des Stichprobenraums.

Der ML - Schätzer ist gegeben durch $\begin{eqnarray*} L_x(\gamma ) = sup L_x(\gamma ) \end{eqnarray*}$ f.ü. wobei des Supremum zu nehmen ist über alle $\begin{eqnarray*} \gamma \in gross-gamma \end{eqnarray*}$ .

Mein Problem ist nun, dass sich wegen der Gleichverteilung über dem Intervall [a, b] gar keine ML - Gleichungen angeben lassen.

Ich habe schon ML-Schätzer gemacht für die BERNOULLI-, POISSON und Normalverteilung. Aber hier weiss ich nicht weiter. Ich habe mich im Internet umgeschaut, aber nichts Passendes gefunden. Irgendwie spielen da die "order statistics" rein, aber die kenne ich nicht.

Mein Schulsack enthält eine moderne Vorlesung über W-Theorie, basierend auf der Masstheorie und eine Vorlesung über angewandte Statistik, die darauf aufbaut, aber sehr knapp gehalten ist.

Kann mir jemand einen Tip geben, wie ich das Problem anpacken soll oder eine URL im Internet angeben, wo ich Unterstützung finde? Danke zum voraus.

Gruss yeti

Sorry, der Beitrag ist im Ordner "Sonstiges" gelandet. Kann ihn jeman in die "Stochastik" verschieben? Danke.

yeti

01.12.2004, 19:30

Auf diesen Beitrag antworten »

RE: ML - Schätzer für Gleichverteilung
Wollen wir mal ein wenig Ordnung in die Gedanken bringen:

Zunächst mal ist bei deiner Aufgabe $\begin{eqnarray*} \gamma=[a,b]^T \end{eqnarray*}$ ein zweidimensionaler Parametervektor.

$\begin{eqnarray*} f_{\gamma}(x_i) \end{eqnarray*}$ ist dann die Dichtefunktion der Gleichverteilung G(a,b) an der Stelle x_i (i=1,...,n).

Dann wird die Likelihoodfunktion dieses Problems gemäß

$\begin{eqnarray*} L_x(\gamma)=L_x(a,b)=f_{\gamma}(x_1)\cdot\ldots\cdot f_{\gamma}(x_n) \end{eqnarray*}$

aufgestellt. Und diese Funktion ist jetzt hinsichtlich der Größen a,b zu maximieren, bei fest vorgegeben Werten x_1, ... , x_n.

Hinweis: Die Likelihood-Funktion hier ist unstetig, also Obacht bei der Bestimmung des globalen Maximums.

01.12.2004, 23:21

yeti777

Auf diesen Beitrag antworten »

RE: ML - Schätzer für Gleichverteilung
Hallo Arthur Dent,

Herzlichen Dank für die schnelle Antwort und die Klärung der Gedanken! Ich muss mir das in Ruhe durch den Kopf gehen lassen.

Aber zuerst muss ich mich um meine kaputte Heizung kümmern traurig

. Ist saukalt hier auf 850 [MüM]. Melde mich dann wieder.

Gruss yeti

02.12.2004, 17:26

Anirahtak

Auf diesen Beitrag antworten »

Verschoben nach Stochastik

03.12.2004, 15:39

yeti777

Auf diesen Beitrag antworten »

Hallo,

für die Gleichverteilung G(a,b) habe ich die Likelihoodfunktion berechnet. Es gilt $\begin{eqnarray*} L_x(\gamma ) = L_x(a,b) = 1/(b-a)^n \end{eqnarray*}$ . Diese Funktion hat ein globales Maximum für maximales a und minimales b. Also setzt man a:=min{x1, x2,...,xn} und b:=max{x1,x2,...xn}. Ich habe für konkrete Werte a, b und n=2 eine Grafik angehängt, damit man ein bisschen eine Ahnung von der Verteilung hat.

Mit dieser Wahl von a und b ist der Schätzer aber nicht erwartungstreu. Ich habe dann ein bisschen herumgerechnet, mich aber im Gestrüpp verirrt. Dann hatte ich die Idee, zuerst das einfachere Problem, nämlich den ML-Schätzer für die Gleichverteilung G(0, theta) zu bestimmen mit der Absicht, ihn später auf das Intervall [a, b] zu transformieren. Die Ergebnisse dieser Rechnung habe ich hier angehängt.

Die Konsistenz des Schätzers konnte ich nicht nachweisen, vermute aber, dass sie gegeben ist. Hat jemand eine Idee?

Jetzt hänge ich an der Transformation für die Dichte. Die Transformationsformel ist bekannt. Aber wenn ich mit ihr transformiere, habe ich keine Erwartungstreue mehr. Ist das möglich?

Jegliche Hilfe bei diesem mich interessierenden Problem ist gern gesehen!

Gruss yeti

03.12.2004, 15:42

yeti777

Auf diesen Beitrag antworten »

Nochmals Hallo,

habe gerade bemerkt, dass man nur ein Bild anhängen kann. Hier die Ergebnisse für den ML-Schätzer der Gleichverteilung G(0,theta).

Gruss yeti

03.12.2004, 16:03

Auf diesen Beitrag antworten »

Zitat:

Original von yeti777
Mit dieser Wahl von a und b ist der Schätzer aber nicht erwartungstreu.

So ganz ist mir nicht klar, was du eigentlich bezweckst. Erst willst du den Maximum-Likelihood-Schätzer bestimmen, jetzt soll er aber erwartungstrue sein.

Maximum-Likelihood-Schätzern sind nun aber i.a. nicht erwartungstreu.

Was du natürlich versuchen kannst ist, diesen Schätzer in einen erwartungstreuen zu überführen - mit der Methode von Rao-Blackwell.

EDIT: Ich hab mir gerade noch mal deinen gescannten Zettel angesehen. Der Schätzer, der dort für das Problem [0,theta] steht, ist nicht der ML-Schätzer - der wäre einfach das Maximum der Stichprobenelemente - sondern bereits die "Rao-Blackwellisierte" Variante.

Offenbar wird dieses zweistufige Vorgehen

1) ML-Schätzer ermitteln

2) per Rao-Blackwell zu einem besten erwartungstreuen Schätzer transformieren

auf deinem Zettel als "ML-Methode" bezeichnet, mir war dieser Begriff so nicht geläufig.

05.12.2004, 13:48

yeti777

Auf diesen Beitrag antworten »

Hallo Arthur Dent!

Mit deiner messerscharfen Analyse hast du natürlich erkannt, dass ich ein bisschen "Wildheu" gemacht habe. Den "Zettel", den du erwähnst, das ist ein Ausschnitt meiner Berechnungen. Leider bin ich Moment aus sehr praktischen Gründen (Heizung ersetzen, jetzt im Winter!) sehr unter Zeitdruck, sodass ich mir die Zeit für das Matheboard abknöpfen muss. Immerhin habe ich mir ein neues Buch über W-Theorie und Statistik besorgt (Konrad Behnen und Georg Neuhaus: "Grundkurs der Stochastik"). Meiner Meinung nach ist das Buch gut strukturiert: Erster Teil diskrete Stochastik ohne Masstheorie, zweiter Teil sauberer Aufbau mit Masstheorie. Nun zurück zu meinem Problem:

1. Du hast natürlich recht. Der von mir berechnete Schätzer ist kein ML-Schätzer mehr. Ich habe zuerst den ML-Schätzer bestimmt (theta := max{x_i}, dann den Erwartungswert berechnet und gesehen, dass er nicht erwartungstreu ist. Dann habe ich das Intervall [0, theta] um den entsprechenden Faktor gestreckt, um ihn erwartungstreu zu machen. Aber jetzt ist es natürlich kein ML-Schätzer mehr, wie du richtig bemerktest. Frage: Ist die Cramér-Rao-Schranke (1/(n*I(theta)), I(theta): Fisher-Information, die gleiche Schranke, die bei dir Rao-Blackwell heisst?

2. Gemäss Buch ist der von mir berechnete Schätzer für die Gleichverteilung auf [0,theta] mit f_theta = ((n+1)/(theta)^n) * x^(n-1) * 1(]0,inf[) erwartungstreu und mit Var = theta^2/(n*(n+2)) der gleichmässig beste erwartungstreue Schätzer für G(0,theta). Dies könne aber nicht mit dem Satz von der Informationsungleichung bewiesen werden, sondern nur mit weitergehenden Mitteln (Satz von Lehmann-Scheffé). Dies deshalb, weil die Gleichverteilung die Voraussetzungen des Satzes nicht erfüllt. Der Satz von Lehmann-Scheffé wird aber nicht angegeben, nur zitiert. Ist er dir bekannt?

3. Ist dir das KALMAN-Filter ein Begriff? Als El.Ing. muss ich mich viel mit Signaltheorie befassen und da spielt das KALMAN-Filter (ein rekursiver Algorithmus zur Berechnung des Zustandsvektors eines Systems, der von weissem, GAUSS'schen Rauschen überlagert ist) eine grosse Rolle. Im kontinuierlichen Bereich spricht man auch vom KALMAN-BUCY-Filter. Ich habe solche Filter gebaut und sie funktionieren (erwartungstreu und minimale Varianz), aber irgendwie gelingt es mir nicht, die Brücke zu der mathematischen Statistik zu schlagen (Problem Ingenieurbücher <-> Mathebücher). Ich vermute, dass das KALMAN-Filter ein ML-Schätzer ist (wegen dem GAUSS'schen weissen Rauschen), blicke aber nicht recht durch. Bin für jeden Tip dankbar.

4. Jetzt, da ich mich einmal mit der W-Theorie und der Statiostik befassen musste, hat es mich gepackt. Ich finde das Gebiet unheimlich interessant und deshalb will ich mich über das erforderliche Mass hinaus weiterbilden (sobald ich wider Zeit dazu habe).

Vorerst recht herzlichen Dank für deine klärenden Beiträge!!

mfg Heinz

05.12.2004, 14:23

Auf diesen Beitrag antworten »

Zu 1) weiß ich nur, dass die Rao-Cramér-Ungleichung mit Hilfe der Fisher-Information eine untere Schranke für die Streuung erwartungstreuer Schätzer angibt. Rao-Blackwell ist nun eine Methode, wie man einen beliebigen erwartungstreuen Schätzer $\begin{eqnarray*} \hat\vartheta_1(X) \end{eqnarray*}$ des Parameters $\begin{eqnarray*} \vartheta \end{eqnarray*}$ bei Kenntnis einer suffizienten Statistik T(X) in einen weiteren Schätzer $\begin{eqnarray*} \hat\vartheta_2(X) \end{eqnarray*}$ umwandelt, und zwar gemäß

$\begin{eqnarray*} \hat\vartheta_2(X) = \mathbb{E}\left(\hat\vartheta_1(X) \bigm| T(X) \right) \end{eqnarray*}$ .

Der Schätzer $\begin{eqnarray*} \hat\vartheta_2 \end{eqnarray*}$ ist ebenfalls erwartungstreu und effektiver als Schätzer $\begin{eqnarray*} \hat\vartheta_1 \end{eqnarray*}$ , d.h.,

$\begin{eqnarray*} \mbox{var}~\hat\vartheta_2 \leq \mbox{var}~\hat\vartheta_1 \end{eqnarray*}$ .

Ob $\begin{eqnarray*} \hat\vartheta_2 \end{eqnarray*}$ nun bereits der beste linear erwartungstreue Schätzer ist, kann man nun durch Vergleich dieser Schätzstreuung mit der Rao-Cramér-Schranke ermitteln, das ist nicht notwendig der Fall.

In deinem Fall der Gleichverteilung G[a,b] ist nun aufgrund der Struktur der Likelihoodfunktion klar, dass der zweidimensionale Vektor $\begin{eqnarray*} T(X)=\left[ \min\limits_k X_k, \max\limits_k X_k \right]^T \end{eqnarray*}$ eine suffiziente Statistik für dieses Problem ist.
Prinzipiell könnte man es also auch hier mit der Rao-Blackwell-Methode versuchen.

Bei deinen Fragen zu 2) und 3) muss ich dich enttäuschen, mit meiner lediglichen Grundbildung in Statistik enden das meine Kenntnisse, da musst du dich schon selbst in deine Literatur vertiefen bzw. einen echten Statistik-Experten fragen,

Neue Frage »

Antworten »

ML - Schätzer für Gleichverteilung

Verwandte Themen