Vektor/Matrix - Summe ausmultiplizieren

05.08.2014, 06:30

surfbrett1

Vektor/Matrix - Summe ausmultiplizieren

Hallo, ich hoffe, mir kann hierbei jemand weiterhelfen...
zur Hintergrundinformation, es geht um den Beweis der Minimierung der Quadrate der Residuen in einem linearen Regressionsmodell

also es sei
y ein n x 1-Vektor,
X eine n x k-Matrix
b ein k x 1-Vektor

mir geht es nur um die Rechenregeln

im folgenden steht A' für die transponierte Matrix von A

(y - Xb)' (y - Xb)
= y'y - y'(Xb) - (Xb)'y + (Xb)'(Xb)
= y'y - y'Xb - b'X'y + b'X'Xb

soweit bin ich gekommen mit den mir bekannten Regeln. Im Skript steht als Endterm stattdessen:

= y'y - 2b'X'y + b'X'Xb

ist also -y'Xb -b'X'y = -2b'X'y ?

mir ist nur klar, dass hierbei eine Zahl bzw. 1x1 Vektor rauskommen muss. Dann müsste folglich gelten:

y'Xb = b'X'y oder? könnte ich auf die rechte Seite auch -2y'Xb schreiben?

Danke schonmal für Aufklärung

05.08.2014, 09:11

URL

Auf diesen Beitrag antworten »

RE: Vektor/Matrix - Summe ausmultiplizieren

Zitat:

Original von surfbrett1
mir ist nur klar, dass hierbei eine Zahl bzw. 1x1 Vektor rauskommen muss. Dann müsste folglich gelten:

y'Xb = b'X'y oder? könnte ich auf die rechte Seite auch -2y'Xb schreiben?

Alles richtig Freude

05.08.2014, 09:31

RavenOnJ

Auf diesen Beitrag antworten »

RE: Vektor/Matrix - Summe ausmultiplizieren
Es ist $\begin{align*} (y^TXb)^T = b^T X^T y \end{align*}$ und da es sich um einen Skalar handelt, muss gelten

$\begin{align*} (y^TXb)^T = y^TXb\Rightarrow y^TXb + b^T X^T y =2 y^TXb = 2 b^T X^T y \end{align*}$

05.08.2014, 17:03

surfbrett1

Auf diesen Beitrag antworten »

Sehr gut, vielen Dank schonmal. Freude

Jetzt habe ich nur noch ein Problem: Ich muss die Gleichung noch nach b differenzieren. Die verketteten Differenzierungsregeln für Matrizen sind mir leider nicht geläufig.

Aber wenn
$\begin{eqnarray*} 2y'Xb = 2b'X'y \end{eqnarray*}$

dann gilt ja

$\begin{eqnarray*} \frac{\partial (2y'Xb)}{\partial b} = \frac{\partial (2b'X'y)}{\partial b} \end{eqnarray*}$

$\begin{eqnarray*} = 2y'X \Rightarrow \end{eqnarray*}$ meine Vermutung. Wie lautet aber in diesem Fall allgemein die Ableitungsregel? Vor allem für die rechte Seite

Danke!

05.08.2014, 18:46

URL

Auf diesen Beitrag antworten »

Du hast es mit einer linearen Funktionen $\begin{align*} \mathbb{R}^k\ni b\mapsto Mb \end{align*}$ mit der $\begin{align*} 1\times k \end{align*}$ -Matrix $\begin{align*} M=2y^TX \end{align*}$ zu tun.
Zwei Möglichkeiten, sich die Ableitung zu beschaffen:
1. Schreibe $\begin{align*} Mb=\sum M_{1j}b_j \end{align*}$ und verwende die bekannten Ableitungsregeln der Analysis (so hast du es wohl schon gemacht)
2. Ableiten ist grob gesagt Linearisieren einer Differenz, zerlege also $\begin{align*} M(b+h)-Mb \end{align*}$ in einen Teil, der linear von h abhängt und einen Rest, der auch dann noch gegen Null geht, wenn man ihn durch $\begin{align*} \|h\| \end{align*}$ dividiert (dieser Rest verschwindet hier einfach).

Beide Methoden funktionieren auch bei einer quadratischen Form $\begin{align*} \mathbb{R}^k\ni b\mapsto b^TMb \end{align*}$ , diesmal natürlich mit einer $\begin{align*} k\times k \end{align*}$ -Matrix $\begin{align*} M \end{align*}$

05.08.2014, 23:51

RavenOnJ

Auf diesen Beitrag antworten »

Vielleicht sollte erst mal geklärt werden, ob die Ableitung nach einem Vektor wohldefiniert ist.

Neue Frage »

Antworten »

Vektor/Matrix - Summe ausmultiplizieren

Verwandte Themen