Methode der kleinsten Quadrate - Varianz der Parameter |
13.11.2009, 09:12 | Thomas84 | Auf diesen Beitrag antworten » |
Methode der kleinsten Quadrate - Varianz der Parameter Ich möchte folgende Aussage beweisen/widerlegen: Die Varianz eines mit Hilfe der Methode der kleinsten Quadrate ermittelten Parameters steigt wenn man einen zusätzlichen Parameter zu dem Modell hinzufügt. Meine bisherigen Überlegungen sind folgende: Wenn das Minimierungsproblem ist, dann ist die Kovarianzmatrix proportional zu . Durch die Erweiterung des Modells um einen Parameter, folgt für die Systemmatrix: Diese Matrix müsste man jetzt invertieren um die Aussage zu beweisen. Daran scheitere ich aber. Gibt es noch andere Beweismöglichkeiten? Ich wäre auch dankbar wenn mir jemand ein Literarturhinweis zu dem Thema geben könnte. viele Grüße Thomas |
||
16.11.2009, 14:16 | Thomas84 | Auf diesen Beitrag antworten » |
ein bisschen weiter bin ich gekommen. Wenn man einen zusätzlichen Parameter einführt folgt für die Matrix: und die Systemmatrix Diese kann man blockweise invertieren (en.wikipedia.org/wiki/Invertible_matrix#Blockwise_inversion) Es bleibt dann nur noch zu zeigen das ist. ( B ist eine (n x 1) - Matrix ) Wenn A invertierbar wäre dann wäre der Ausdruck exakt 0. Hat jemand eine Idee wie man die obige Ungleichung beweisen kann? Mit freundlichen Grüßen Thomas |
||
17.11.2009, 12:55 | JPL | Auf diesen Beitrag antworten » |
RE: Methode der kleinsten Quadrate - Varianz der Parameter HI, die Aussage stimmt nicht für alle Parameter (wenn ich deine Frage richtig verstanden habe) - gegenbsp in R: set.seed(2) y=c(rnorm(n=10,mean=3), rnorm(n=10)) g=c(rep(1,10), rep(2,10)) s=rep(c(1,2),10) d=data.frame(y,g,s) summary(lm(y~g, data=d)) gibt: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 6.8795 0.8833 7.788 3.58e-07 *** g -3.6738 0.5586 -6.576 3.54e-06 *** und summary(lm(y~g+s, data=d)) gibt: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 5.5623 1.1637 4.780 0.000174 *** g -3.6738 0.5339 -6.881 2.66e-06 *** s 0.8781 0.5339 1.645 0.118418 Für die Intercept hast du also zumindest nicht unrecht, für die Faktoren schon. Anders sieht der Fall aus, wenn du die Intercept weglässt - vllt. bringt dich das weiter. Grüße, JPL |
||
19.11.2009, 07:39 | Thomas84 | Auf diesen Beitrag antworten » |
Erst einmal vielen Dank für die Antwort. Leider kann ich kein R. Ich interpretiere den Code aber so: y sind die Daten. Und das Modell lautet (einmal mit und einmal ohne den letzten Term): wobei p1,p2,p3 die gesuchten Parameter sind. Ich versteh allerdings nicht genau was dann ausgegeben wird. Wie sieht denn die Kovarianzmatrix aus? Ich frag mich auch warum die Werte so krumm sind. Mit meiner obigen Notation wäre ja und die Kovarianzmatrix eben . Das heißt die Kovarianzmatrix ist unabhängig von der konkreten Stichprobe, sondern nur von g bzw s abhängig. viele Grüße Thomas |
|
Verwandte Themen
Die Beliebtesten » |
Die Größten » |
|
Die Neuesten » |
|