Regression: Unkorreliertheit der Schätzer für beta und sigma^2

23.04.2013, 17:38

Necross

Regression: Unkorreliertheit der Schätzer für beta und sigma^2

Meine Frage:
Gegeben ist das Modell:
$\begin{eqnarray*} Y=X\beta + u \end{eqnarray*}$ , Y nx1, X nxk, \beta kx1, u nx1 mit
$\begin{eqnarray*} E[u]=0 \end{eqnarray*}$
$\begin{eqnarray*} E[uu^t]=\sigma^2 \end{eqnarray*}$
$\begin{eqnarray*} X \end{eqnarray*}$ ist nicht zufaellig
$\begin{eqnarray*} rang(X)=k \end{eqnarray*}$

Wie zeigt man nun, dass COV( $\begin{eqnarray*} \beta^{*},\sigma^{*^{2}} \end{eqnarray*}$ )=0,
wobei $\begin{eqnarray*} \beta^{*}=(X^tX)^{-1}X^tY \end{eqnarray*}$ und $\begin{eqnarray*} \sigma^{*^{2}} \end{eqnarray*}$ = $\begin{eqnarray*} 1/(n-k)*(Y-X\beta^{*})^t(Y-X\beta^{*}) \end{eqnarray*}$

Meine Ideen:
Ich hab jeweils in die Definition eingesetzt und umgeformt was geht (nach u). Dann lande ich irgendwann dabei, zeigen zu müssen, dass:
$\begin{eqnarray*} E[uu^t(I-(X^tX)^{-1}X^t)u]=0 \end{eqnarray*}$

Und hier komme ich einfach nicht weiter.

23.04.2013, 18:02

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Necross
$\begin{eqnarray*} E[uu^t]=\sigma^2 \end{eqnarray*}$

Vermutlich meinst du damit eher

$\begin{eqnarray*} E[uu^t]=\sigma^2\cdot I_n \end{eqnarray*}$

wobei $\begin{eqnarray*} I_n \end{eqnarray*}$ die Einheitsmatrix vom Typ $\begin{eqnarray*} n\times n \end{eqnarray*}$ ist.

EDIT: Ich halte die Voraussetzungen übrigens für unzureichend, um tatsächlich

$\begin{eqnarray*} \operatorname{cov}(\beta^*,\sigma^{*2})=0 \end{eqnarray*}$

nachweisen zu können, denn dazu benötigt man Kenntnis der dritten Momente von $\begin{eqnarray*} u \end{eqnarray*}$ , über die nichts bekannt ist - zumindest nicht laut deinen Angaben. unglücklich

P.S.: Z.B. im Fall unabhängiger $\begin{eqnarray*} u_i\sim\mathcal{N}(0,\sigma^2) \end{eqnarray*}$ liegt die Sache anders, da ist diese Information implizit gegeben.

23.04.2013, 18:37

Necross

Auf diesen Beitrag antworten »

Ja genau, die Einheitsmatrix hatte ich vergessen.

Ok, und wenn ich die Angabe jetzt dahingehend erweitere, dass u multivariatnormalverteilt ist, wie folgt dann das zu zeigende?

24.04.2013, 09:14

HAL 9000

Auf diesen Beitrag antworten »

Na klar ändert das die Situation, denn dann hast du sie ja bzw. kannst sie berechnen, die genannten dritten Momente.

Du musst dir erstmal den Überblick verschaffen: Was ist zufällig und was deterministisch (d.h. nicht zufällig) - denn letzteres kannst du z.B. als festen Faktor aus den Erwartungswertbildungen herausziehen.

Als Beispiel mal $\begin{eqnarray*} \beta^* = (X^tX)^{-1}X^tY \end{eqnarray*}$ :

Da $\begin{eqnarray*} X \end{eqnarray*}$ deterministisch ist, trifft dies auch auf die Matrix $\begin{eqnarray*} A:=(X^tX)^{-1}X^t \end{eqnarray*}$ zu, und man kann berechnen

$\begin{eqnarray*} E[\beta^*] = E[AY] = A\cdot E[Y] = A\cdot E[X\beta + u] = A\cdot E[X\beta] + A\cdot E[u] = AX\beta = \beta \end{eqnarray*}$ ,

wobei $\begin{eqnarray*} \beta \end{eqnarray*}$ der unbekannte, aber eben auch deterministische Parameter ist - in Unterschied zu dessen Schätzung, der Zufallsgröße $\begin{eqnarray*} \beta^* \end{eqnarray*}$ .

Der Plan ist nun folgender: Es ist

$\begin{eqnarray*} \operatorname{cov}(\beta^*,\sigma^{*2}) = E[\beta^*\sigma^{*2}]-E[\beta^*]E[\sigma^{*2}] \end{eqnarray*}$ ,

einen der drei Erwartungswerte rechts habe ich berechnet, bei den anderen beiden kannst du dich nun schaffen.

24.04.2013, 10:40

Necross

Auf diesen Beitrag antworten »

Die beiden rechten stellen für mich ja kein Problem dar, es ist gerade der linke bei dem ich nicht weiterkomme.

Irgendwann steh ich bei:

$\begin{eqnarray*} E[\beta^{*}\sigma^{*^{2}}]=\beta\sigma^2 + (n-k)^{-1}(X^tX)^{-1}X^tE[uu^t(I_n-X(X^tX)^{-1}X)u] \end{eqnarray*}$

dh der Erwartungswert rechts muss 0 sein, damit die Aussage stimmt, nur weiß ich hier nichts mit dem Erwartungswert anzufangen.

25.04.2013, 21:45

HAL 9000

Auf diesen Beitrag antworten »

Der Hinweis ist, dass für deine gegebenen, unabhängig identisch verteilten $\begin{eqnarray*} u_i\sim\mathcal{N}(0,\sigma^2) \end{eqnarray*}$ dann

$\begin{eqnarray*} E[u_iu_ju_k]=0 \end{eqnarray*}$

gilt, und zwar für alle möglichen Tripel $\begin{eqnarray*} (i,j,k) \end{eqnarray*}$ , d.h. auch wenn zwei oder alle drei Indizes einander gleich sind - kann man ausrechnen.

26.04.2013, 09:15

Necross

Auf diesen Beitrag antworten »

Achja, stimmt ja, bei der NV haben die ungeraden Momente immer den Faktor mu dabei. Danke!

Neue Frage »

Antworten »

Regression: Unkorreliertheit der Schätzer für beta und sigma^2

Verwandte Themen