Methode der kleinsten Quadrate - Varianz der Parameter

Neue Frage »

Thomas84 Auf diesen Beitrag antworten »
Methode der kleinsten Quadrate - Varianz der Parameter
Guten Tag,

Ich möchte folgende Aussage beweisen/widerlegen:

Die Varianz eines mit Hilfe der Methode der kleinsten Quadrate ermittelten Parameters steigt wenn man einen zusätzlichen Parameter zu dem Modell hinzufügt.

Meine bisherigen Überlegungen sind folgende:

Wenn das Minimierungsproblem ist, dann ist die Kovarianzmatrix proportional zu . Durch die Erweiterung des Modells um einen Parameter, folgt für die Systemmatrix:



Diese Matrix müsste man jetzt invertieren um die Aussage zu beweisen. Daran scheitere ich aber.

Gibt es noch andere Beweismöglichkeiten?
Ich wäre auch dankbar wenn mir jemand ein Literarturhinweis zu dem Thema geben könnte.

viele Grüße
Thomas
Thomas84 Auf diesen Beitrag antworten »

ein bisschen weiter bin ich gekommen. Wenn man einen zusätzlichen Parameter einführt folgt für die Matrix:

und die Systemmatrix


Diese kann man blockweise invertieren (en.wikipedia.org/wiki/Invertible_matrix#Blockwise_inversion)

Es bleibt dann nur noch zu zeigen das

ist. ( B ist eine (n x 1) - Matrix )

Wenn A invertierbar wäre dann wäre der Ausdruck exakt 0. Hat jemand eine Idee wie man die obige Ungleichung beweisen kann?

Mit freundlichen Grüßen
Thomas
JPL Auf diesen Beitrag antworten »
RE: Methode der kleinsten Quadrate - Varianz der Parameter
HI,

die Aussage stimmt nicht für alle Parameter (wenn ich deine Frage richtig verstanden habe) - gegenbsp in R:
set.seed(2)
y=c(rnorm(n=10,mean=3), rnorm(n=10))
g=c(rep(1,10), rep(2,10))
s=rep(c(1,2),10)
d=data.frame(y,g,s)
summary(lm(y~g, data=d))
gibt:
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 6.8795 0.8833 7.788 3.58e-07 ***
g -3.6738 0.5586 -6.576 3.54e-06 ***

und
summary(lm(y~g+s, data=d))
gibt:

Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 5.5623 1.1637 4.780 0.000174 ***
g -3.6738 0.5339 -6.881 2.66e-06 ***
s 0.8781 0.5339 1.645 0.118418

Für die Intercept hast du also zumindest nicht unrecht, für die Faktoren schon.
Anders sieht der Fall aus, wenn du die Intercept weglässt - vllt. bringt dich das weiter.
Grüße,
JPL
Thomas84 Auf diesen Beitrag antworten »

Erst einmal vielen Dank für die Antwort.

Leider kann ich kein R. Ich interpretiere den Code aber so:
y sind die Daten. Und das Modell lautet (einmal mit und einmal ohne den letzten Term):

wobei p1,p2,p3 die gesuchten Parameter sind.

Ich versteh allerdings nicht genau was dann ausgegeben wird. Wie sieht denn die Kovarianzmatrix aus? Ich frag mich auch warum die Werte so krumm sind. Mit meiner obigen Notation wäre ja
und die Kovarianzmatrix eben .
Das heißt die Kovarianzmatrix ist unabhängig von der konkreten Stichprobe, sondern nur von g bzw s abhängig.

viele Grüße
Thomas
Neue Frage »
Antworten »



Verwandte Themen

Die Beliebtesten »
Die Größten »
Die Neuesten »