Von Summenzeichen- auf Matrizenschreibweise im Kontext des KQ-Schätzers

04.11.2015, 22:21	1100101	Auf diesen Beitrag antworten »
Von Summenzeichen- auf Matrizenschreibweise im Kontext des KQ-Schätzers In einer Statistik 2 Vorlesung wurde der Kleinste-Quadrate-Schätzer hergeleitet. Während ich den Inhalt verstehe, ist mir beim Übergang der Summezenzeichen-Schreibweise auf die Matrizenschreibweise nicht klar, warum hier eine Matrix transponiert werden kann und wie sich die Reihenfolge der Faktoren bei der Multiplikation ergibt. Ich schreibe nun einfach die Herleitung auf und weise an der entsprechenden Stelle auf die Unklarheit hin. Es gilt $\begin{eqnarray} \Theta \end{eqnarray}$ so zu schätzen, dass die Summe der Residuenquadrate minimal wird: $\begin{eqnarray} \sum\limits_{i=1}^{n} (y_{i} - \sum\limits_{k=1}^{p} x_{ik} \theta_{k})² \end{eqnarray}$ Aus diesem Grund müssen die p partiellen Ableitungen gebildet und anschließend 0 gesetzt werden. Zum Beispiel sieht die partielle Ableitung nach $\begin{eqnarray} \theta_{1} \end{eqnarray}$ folgendermaßen aus: $\begin{eqnarray} \frac{\partial\Theta}{\partial\Theta_{1}}{[}\sum\limits_{i=1}^{n}(y_{i} - \sum\limits_{k=1}^{p} x_{ik}\theta_{k})²{]}<br /> =\sum\limits_{i=1}^{n}\frac{\partial\Theta}{\partial\Theta_{1}}(y_{i}-x_{i1}\Theta_{1}-...-x_{ip}\Theta_{p})²<br /> =\sum\limits_{i=1}^{n}2(y_{i}-x_{i1}\Theta_{1}-...-x_{ip}\Theta_{p})(-x_{i1})<br /> =-2\sum\limits_{i=1}^{n}(y_{i} - \sum\limits_{k=1}^{p} x_{ik} \theta_{k})x_{i1} \end{eqnarray}$ Es ergeben sich daher die folgenden p Geichungen: $\begin{eqnarray} \sum\limits_{i=1}^{n}(y_{i} - \sum\limits_{k=1}^{p} x_{ik} \theta_{k})x_{ij} = 0, j = 1,...,p. \end{eqnarray}$ Durch Ausmultiplizieren erhält man: $\begin{eqnarray} \sum\limits_{k=1}^{p}(\sum\limits_{i=1}^{n}x_{ij}x_{ik})\theta_{k}=\sum\limits_{i=1}^{n}x_{ij}y_{i}, j=1,...,p. \end{eqnarray}$ Bis dahin ist alles klar. Gemäß meines Professors, können die p Gleichungen (auch "Normalgleichungen bezeichnet) nun in folgende Matrizenschreibweise zusammengefasst werden: $\begin{eqnarray} X^{T}X\theta=X^{T}Y \end{eqnarray}$ Diesbezüglich interessiert mich, warum man hier einfach eine X-Matrix transponieren kann und auf welcher Grundlage (Regel) dies geschieht. Ist es so, dass bei Multiplikation zweier Matrizen eine immer transponiert werden kann, damit z.B. die Multiplikation möglich wird (Anzahl Zeilen der ersten Matrix = Anzahl Spalten der zweiten Matrix)? Mir war vorher nicht bekannt, dass man bei Multiplikation eine Matrix einfach so transponieren kann. Beim Ausmultiplizieren (Schritt von der vorvorletzten Gleichung zur vorletzten Gleichung) wird zudem die Reihenfolge der Faktoren insofern geändert. Müsste es in der vorletzten Gleichung unter Aussparung der Summenzeichen statt $\begin{eqnarray} x_{ij} x_{ik}\theta_{k}= x_{ij}y_{i} \end{eqnarray}$ nicht eher $\begin{eqnarray} x_{ik}\theta_{k}x_{ij}= y_{i}x_{ij} \end{eqnarray}$ Wenn anschließend keine Änderung in Matrizenschreibweise stattfinden würde, wäre eine Änderung der Reihenfolge der Faktoren natürlich unproblematisch. Da ich allerdings im Hinterkopf habe, dass bei Multiplikation von Matrizen eben die Reihenfolge von Bedeutung ist und nicht AB = BA gilt, kann ich mich mit der vorgelagerten Änderung der Reihenfolge nicht so richtig anfreunden. Oder ist das ebenfalls unproblematisch? Wenn ja würde ich mich auch hier über eine Begründung freuen. Bereits vielen Dank für euere Hinwieise und Antworten!
05.11.2015, 11:41	Ehos	Auf diesen Beitrag antworten »
Du hast N Wertepaare $\begin{eqnarray} (x_i,y_i) \end{eqnarray}$ und möchtest ein optimales Polynom $\begin{eqnarray} \sum\limits_{k=0}^{p} a_k x^k \end{eqnarray}$ vom Grade p finden, welches diese Wertepaare "am besten" annähert. Die Summe der Fehlerquadrate soll also minimal werden. Das heißt: $\begin{eqnarray} \text{Minimum }=\underbrace{\left ( y_1-\sum\limits_{k=0}^{p} a_kx_1^k \right )^2}_{\text{Fehlerquadrat im Wertepaar 1}}+\underbrace{\left ( y_2-\sum\limits_{k=0}^{p} a_kx_2^k \right )^2}_{\text{Fehlerquadrat im Wertepaar 2}}+...+\underbrace{\left ( y_N-\sum\limits_{k=0}^{p} a_kx_N^k \right )^2}_{\text{Fehlerquadrat im Wertepaar N}} \end{eqnarray}$ Die Variablen dieser Extremwertaufgabe sind die p+1 Koeffizienten $\begin{eqnarray} a_0,a_1,...,a_p \end{eqnarray}$ des gesuchten Polynoms. Wir müssen also die p+1 partiellen Ableitungen nach diesen Koeffizienten Null setzen. Das ergibt folgende p+1 Gleichungen $\begin{eqnarray} 0=\left ( y_1-\sum\limits_{k=0}^{p} a_kx_1^k \right )\cdot x_1^0+\left ( y_2-\sum\limits_{k=0}^{p} a_kx_2^k \right )\cdot x_2^0+...+\left ( y_N-\sum\limits_{k=0}^{p} a_kx_N^k \right )\cdot x_N^0 \end{eqnarray}$ $\begin{eqnarray} 0=\left ( y_1-\sum\limits_{k=0}^{p} a_kx_1^k \right )\cdot x_1^1+\left ( y_2-\sum\limits_{k=0}^{p} a_kx_2^k \right )\cdot x_2^1+...+\left ( y_N-\sum\limits_{k=0}^{p} a_kx_N^k \right )\cdot x_N^1 \end{eqnarray}$ ... $\begin{eqnarray} 0=\left ( y_1-\sum\limits_{k=0}^{p} a_kx_1^k \right )\cdot x_1^p+\left ( y_2-\sum\limits_{k=0}^{p} a_kx_2^k \right )\cdot x_2^p+...+\left ( y_N-\sum\limits_{k=0}^{p} a_kx_N^k \right )\cdot x_N^p \end{eqnarray}$ Diese p+1 Gleichungen kann man umordnen und als Gleichungssystem für die Koeffizienten $\begin{eqnarray} a_0,a_1,...,a_p \end{eqnarray}$ auffassen und in Matrixform schreiben $\begin{eqnarray} \underbrace{\begin{pmatrix} y_1x_1^0+y_2x_2^0+...+y_Nx_N^0 \\ y_1x_1^1+y_2x_2^1+...+y_Nx_N^1 \\ ... \\ y_1x_1^p+y_2x_2^p+...+y_Nx_N^p\end{pmatrix} }_{\text{konstanter Vektor}}=\underbrace{\begin{pmatrix} \sum\limits_{i=1}^{N} x_i^0x_i^0 & \sum\limits_{i=1}^{N} x_i^0x_i^1 & ... & \sum\limits_{i=1}^{N} x_i^0x_i^p\\ \sum\limits_{i=1}^{N} x_i^1x_i^0 & \sum\limits_{i=1}^{N} x_i^1x_i^1 & ... & \sum\limits_{i=1}^{N} x_i^1x_i^p\\ ... & ... & ... &c_4 \\ \sum\limits_{i=1}^{N} x_i^px_i^0 & \sum\limits_{i=1}^{N} x_i^px_i^1 & ... & \sum\limits_{i=1}^{N} x_i^px_p^p \end{pmatrix}}_{\text{Koeffizientenmatrix}} \underbrace{\begin{pmatrix} a_0 \\ a_1 \\ ... \\ a_p\end{pmatrix}}_{\text{unbekannter Vektor}} \end{eqnarray}$ Die linke Seite kann man als Produkt einer Matrix X mit einem Vektor $\begin{eqnarray} \vec y \end{eqnarray}$ schreiben. Die Koeffizienntenmatrix kann man als Matrixprodukt $\begin{eqnarray} XX^T \end{eqnarray}$ schreiben $\begin{eqnarray} \underbrace{\begin{pmatrix} x_1^0 & x_2^0 & ...& x_N^0 \\ x_1^1 & x_2^1 & ... & x_n^1 \\ ... & ... & ... & ... \\ x_1^p & x_2^p & ... & x_N^p \end{pmatrix}}_{\text{Matrix X}} \underbrace{\begin{pmatrix} y_1 \\ y_2 \\ ...\\y_N \end{pmatrix}}_{\text{Vektor }\vec y} =\underbrace{\begin{pmatrix} x_1^0 & x_2^0 & ...& x_N^0 \\ x_1^1 & x_2^1 & ... & x_n^1 \\ ... & ... & ... & ... \\ x_1^p & x_2^p & ... & x_N^p \end{pmatrix}}_{\text{Matrix X}}\underbrace{\begin{pmatrix} x_1^0 & x_2^0 & ...& x_N^0 \\ x_1^1 & x_2^1 & ... & x_n^1 \\ ... & ... & ... & ... \\ x_1^p & x_2^p & ... & x_N^p \end{pmatrix}^T}_{\text{Matrix }X^T} \underbrace{\begin{pmatrix} a_0 \\ a_1 \\ ... \\ a_p\end{pmatrix}}_{\text{unbekannter Vektor}} \end{eqnarray}$
05.11.2015, 22:29	1100101	Auf diesen Beitrag antworten »
Hi Ethos, vielen Dank für deine Antwort! Ich muss es nochmal später in Ruhe angucken. Momentan habe ich es noch nicht ganz durchdrungen. Sollte es mir auch später nicht klar sein, würde ich mich nochmal melden. Aber vorab zwei Fragen zur Schreibweise: 1. Mit deinen Ausführungen beschreibst du exakt mein Problem, lediglich ausführlicher, richtig? 2.Warum steht das k bei den x-Variablen darüber und nicht (wie bei den a-Werten) darunter? Nur eine Formsache? Viele Grüße, 1100101
06.11.2015, 09:05	Ehos	Auf diesen Beitrag antworten »
Die Indexschreibweise deines Professors ist wegen der Kürze dieser Schreibweise für Studenten mitunter etwas unübersichtlich. Deshalb habe ich alles nochmal ausführlich aufgeschrieben. Am besten du rechnest mal ein Beispiel durch. Aus mathematischer Sicht ist die Sache relativ einfach, denn man berechnet nur ein lineares Gleichungssystem für die unbekannten Koeffizienten. Nun zu deiner Frage, warum ich die k-Werte bei den x-Variablen oben schreibe und nicht unten. Antwort: Sinn der Sache war, dass man N Wertepaare $\begin{eqnarray} (x_i, y_i) \end{eqnarray}$ durch ein Polynom $\begin{eqnarray} \sum\limits_{k=0}^{p} a_kx^k=a_0+a_1x+a_2x^2+...a_px^p \end{eqnarray}$ approximieren will. Die k-Werte sind also die Potenzen des gesuchten Polynoms und KEINE Indizes. Ich nehme an, dass dein Professor den allgemeinsten Fall behandelt. Gesucht ist also nicht notwendig ein Polynom vom Grade p, sondern eine beliebige andere Approximationsfunktion mit den freien Parameter $\begin{eqnarray} a_0, a_1,...,a_p \end{eqnarray}$ . In diesem Falle treten in der Matrix X keine Potenzen auf wie bei mir, sondern andere Terme, die dein Professor mit $\begin{eqnarray} x_{ik} \end{eqnarray}$ abkürzt. Die konkrete Gestalt dieser $\begin{eqnarray} x_{ik} \end{eqnarray}$ hängt von der gewählten Approximatiuonsfunktion ab. Die Rechnung ist aber im Prinzip die gleiche.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »