Matrixrechnung - Ableitung

Neue Frage »

24.05.2011, 09:31	fenderbender	Auf diesen Beitrag antworten »
Matrixrechnung - Ableitung Hi, ich habe ein Problem mit folgendem Ausdurck: $\begin{eqnarray} \frac{\delta}{\delta h} \left(-\frac{1}{2} (x - Sh)^T C^{-1} (x - Sh)\right) = -S^T C^{-1} (x-Sh) \end{eqnarray}$ mit den Vektoren x und h, sowie den Matrizen S und C Kann mir jemand die Zwischenschritte erklären? Danke
24.05.2011, 11:37	Ehos	Auf diesen Beitrag antworten »
Da $\begin{eqnarray} \vec h \end{eqnarray}$ ein Vektor sein muss, nehme ich an, dass man unter der Operation $\begin{eqnarray} \frac{\delta}{\delta \vec h} \end{eqnarray}$ den Vektorgradienten versteht. Für einen beliebigen $\begin{eqnarray} \vec h \end{eqnarray}$ -abhängigen Vektor $\begin{eqnarray} \vec f(\vec h) \end{eqnarray}$ gilt also $\begin{eqnarray} \frac{\delta \vec f}{\delta \vec h}=\begin{pmatrix} \nabla_{\vec h} f_1\\ ... \\ \nabla_{\vec h} f_n \end{pmatrix} = \begin{pmatrix} \frac{\partial f_1}{\partial h_1} & ... & \frac{\partial f_1}{\partial h_n}\\ ... & ... & ... \\ \frac{\partial f_n}{\partial h_1} & ... & \frac{\partial f_n}{\partial h_n} \end{pmatrix} \end{eqnarray}$ Daraus folgen 2 Spezialfälle: Erstens: $\begin{eqnarray} \frac{\delta \vec h}{\delta \vec h}=\text{Einheitsmatrix} \end{eqnarray}$ Zweitens: $\begin{eqnarray} \frac{\delta \vec f}{\delta \vec h}=\text{Nullmatrix} \end{eqnarray}$ , wenn $\begin{eqnarray} \vec f \end{eqnarray}$ nicht von $\begin{eqnarray} \vec h \end{eqnarray}$ abhängt. Ableitung mittels Produktregel und Beachtung der obigen Spezialfälle ergibt $\begin{eqnarray} \frac {\delta(-\frac{1}{2}( \vec x-S \vec h)^T C^{-1}( \vec x-S \vec h)}{\delta \vec h}=-\frac{1}{2}\underbrace{\frac{\delta (\vec x-S\vec h)^T}{\delta \vec h}}_{-S^T}C^{-1}(\vec x-S\vec h)-\frac{1}{2}(\vec x-S\vec h)^TC^{-1}\underbrace{\frac{\delta (\vec x-S\vec h)}{\delta \vec h}}_{-S} \end{eqnarray}$ Zusammenfassen ergibt das Gewünschte.
25.05.2011, 15:41	fenderbender	Auf diesen Beitrag antworten »
Hi, danke für die Antwort. Dann liegt mein Problem wohl nicht im Ableiten sondern im Zusammenfassen... Genau wie du komm ich auf die Lösung: $\begin{eqnarray} S^T C^{-1} (x-Sh) + (x-Sh)^T C^{-1} S \end{eqnarray}$ das heißt, ich habe noch ein $\begin{eqnarray} (x-Sh)^T C^{-1} S \end{eqnarray}$ zuviel. Wie werde ich das los? (da ich das Maximum suche, setze ich das gleich 0 und spare mir deshalb schon mal das -1/2) Danke
25.05.2011, 16:29	fenderbender	Auf diesen Beitrag antworten »
achso, falls es was nützt, in diesem Fall ist: $\begin{eqnarray} S = S^T \end{eqnarray}$ $\begin{eqnarray} C=C^T \end{eqnarray}$
26.05.2011, 08:52	Ehos	Auf diesen Beitrag antworten »
Du sagst, dass ein Summand zuviel sei und fragst, wie du einen Summanden "los wirst". Antwort: Vor beiden Summanden steht der Faktor 1/2 (Siehe meine Rechnung). Da beide Summanden identisch sind, kann man sie zusammenfassen.
27.05.2011, 06:47	fenderbender	Auf diesen Beitrag antworten »
Beide Summanden sind identisch? Welche Regel steckt da dahinter? $\begin{eqnarray} A^T B (\vec{c}-E\vec{d}) \end{eqnarray}$ ist doch nicht $\begin{eqnarray} (\vec{c}-E\vec{d})^T B A \end{eqnarray}$ oder? Links ist ein Spaltenvektor, rechts ein Zeilenvektor... Danke
Anzeige

27.05.2011, 11:25	Ehos	Auf diesen Beitrag antworten »
Unterscheide nicht zwischen Zeilenvektoren $\begin{eqnarray} \vec v \end{eqnarray}$ und Spaltenvektoren $\begin{eqnarray} \vec v^T \end{eqnarray}$ . Das ist in euklidischen Räumen nicht notwendig. Man muss aber im Skalarprodukt beim Auftreten von Matrizen M beachten, dass gilt $\begin{eqnarray} \vec x\cdot M\vec y=M^T\vec x\cdot \vec y \end{eqnarray}$ , wenn man die Matrix M von ersten Faktor des Skalarproduktes auf den zweiten Faktor "abwälzen" will. Nun zur Rechnung: $\begin{eqnarray} \frac{\delta \left [ -\frac{1}{2}(\vec x-S\vec h) \cdot C^{-1} (\vec x-S\vec h)\right ]}{\delta \vec h} \end{eqnarray}$ Ausmultiplizieren ergibt $\begin{eqnarray} -\frac{1}{2}\frac{\delta (\vec x\cdot C^{-1}\vec x)}{\delta \vec h}+\frac{1}{2}\frac{\delta [S\vec h\cdot C^{-1}\vec x]}{\delta \vec h}+\frac{1}{2}\frac{\delta (\vec x\cdot C^{-1}S\vec h)}{\delta \vec h}-\frac{1}{2}\frac{\delta [S\vec h\cdot C^{-1}S\vec h)}{\delta \vec h} \end{eqnarray}$ Beim Bilden den Gradienten $\begin{eqnarray} \frac{\delta}{\delta \vec h} \end{eqnarray}$ eines Skalarproduktes $\begin{eqnarray} \vec h\cdot M\vec a \end{eqnarray}$ oder $\begin{eqnarray} \vec a\cdot M\vec h \end{eqnarray}$ gilt folgende Regel, die man sich anhand von 2x2-Matrizen leicht durch Nachrechnen klar machen kann: $\begin{eqnarray} \frac{\delta (\vec a\cdot M\vec h)}{\delta \vec h}=\frac{\delta (M\vec h\cdot \vec a)}{\delta \vec h}=M^T\vec a \end{eqnarray}$ Der 1.Summand entfällt beim Ableiten, weil dort der Vektor $\begin{eqnarray} \vec h \end{eqnarray}$ nicht auftaucht. Im letzten Summand muss man die Produktregel anwenden. Im Zähler des 3.Summanden kann man die Matrix $\begin{eqnarray} C^{-1} \end{eqnarray}$ vor dem Ableiten vom 2.Faktor auf den ersten "abwälzen" gemäß $\begin{eqnarray} \vec x\cdot C^{-1} S\vec h=C^{T-1}\vec x\cdot S\vec h \end{eqnarray}$ Insgesamt erhält man nach dem Ableiten $\begin{eqnarray} \frac{1}{2}S^TC^{-1}\vec x+\frac{1}{2}S^TC^{T-1}\vec x-\frac{1}{2}S^TC^{-1}S\vec h-\frac{1}{2}S^TC^{T-1}S\vec h \end{eqnarray}$ Die ersten beiden und die letzten beiden Summanden kann man zusammenfassen, sofern die Matrix C symmetrisch ist, also $\begin{eqnarray} C^{-1}=C^{T-1} \end{eqnarray}$ . Nur dann erhält man das gewünschte Ergebnis. $\begin{eqnarray} S^TC^{-1}\vec x-S^TC^{-1}S\vec h=S^TC^{-1}(\vec x-S\vec h) \end{eqnarray}$
27.05.2011, 12:13	fenderbender	Auf diesen Beitrag antworten »
Ok, bis auf eins hab ich alles verstanden: Wann gilt und wieso gilt: $\begin{eqnarray} \vec{x} \cdot C^{-1} \cdot S \vec{h} = C^{T,-1} \cdot \vec{x} \cdot S \vec{h} \end{eqnarray}$ Danke
27.05.2011, 12:59	Ehos	Auf diesen Beitrag antworten »
Hat man irgendein Skalarprodukt $\begin{eqnarray} \vec x\cdot M\vec y \end{eqnarray}$ mit beliebigen Vektoren $\begin{eqnarray} \vec x, \vec y \end{eqnarray}$ und einer beliebigen Matrix M, so kann man die Matrix M vom 1.Faktor auf den 2.Faktor "abwälzen", wenn man die Matrix zugleich transponiert. Das Skalarprodukt ändert sich durch dieses "Abwälzen" nicht. Also $\begin{eqnarray} \vec x \cdot M \vec y=M^T \vec x \cdot \vec y \end{eqnarray}$ Spezialfall: Wenn die Matrix symmetrisch ist, also $\begin{eqnarray} M=M^T \end{eqnarray}$ , dann ist es egal, ob man die Matrix im ersten oder zweiten Summanden schreibt. Rechne das mal an einem zweidimensionalen Beispiel nach: $\begin{eqnarray} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix}\cdot \begin{pmatrix} M_{11} & M_{12} \\ M_{21} & M_{22} \end{pmatrix} \begin{pmatrix} y_1 \\ y_2 \end{pmatrix}=\begin{pmatrix} M_{11} & M_{12} \\ M_{21} & M_{22} \end{pmatrix}^T\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}\cdot \begin{pmatrix} y_1 \\ y_2 \end{pmatrix}=\begin{pmatrix} M_{11} & M_{21} \\ M_{12} & M_{22} \end{pmatrix}\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}\cdot \begin{pmatrix} y_1 \\ y_2 \end{pmatrix} \end{eqnarray}$
05.06.2011, 10:19	fenderbender	Auf diesen Beitrag antworten »
Hi, nochmal vielen Dank für deine Hilfe. Ich habs so weit verstanden und mich dann auch auf die Suche nach dem Fehler gemacht, warum es in meiner Anfangsüberlegung nicht ging. Für den Fall, dass nochmal jemand das Problem hat, hier kurz die Zusammenfassung, wo ich mich blöd angestellt hab $\begin{eqnarray} <br /> \frac{\delta}{\delta h} \left( -\frac{1}{2} (\vec{x} - S\vec{h})^T C^{-1} (\vec{x} - S\vec{h}) \right)<br /> \end{eqnarray}$ Produktregel: $\begin{eqnarray} <br /> -\frac{1}{2} \left( \frac{\delta (\vec{x} - S\vec{h})^T}{\delta h} C^{-1} (\vec{x} - S\vec{h}) + (\vec{x} - S\vec{h})^T C^{-1} \frac{\delta (\vec{x} - S\vec{h})}{\delta h} \right)<br /> \end{eqnarray}$ Mein Problem war jetz, dass für mich $\begin{eqnarray} \frac{\delta}{\delta h} (\vec{x} - S\vec{h}) \end{eqnarray}$ die MATRIX S ergab. Die Ableitung eines Vektors ist aber ein Vektor und keine Matrix! Deshalb ist $\begin{eqnarray} <br /> <br /> ( \vec{x} - S \vec{h} )^T C^{-1} \vec{s} \end{eqnarray}$ ein Skalar, dessen Transponierte natürlich der selbe Skalar ist, d.h. $\begin{eqnarray} \left( ( \vec{x} - S \vec{h})^T C^{-1} \vec{s}) \right)^T = \vec{s}^T C^{-1,T} (\vec{x} - S \vec{h}) \end{eqnarray}$ (Regel der Transponierung: $\begin{eqnarray} (A B C)^T = C^T B^T A^t \end{eqnarray}$ und in meinem Fall ist C eine Diagonalmatrix, d.h. die Transponierte ist auch C und ich kanns wunderschön zusammen fassen Yippih!
05.06.2011, 11:26	fenderbender	Auf diesen Beitrag antworten »
Oh nein, das stimmt ja schon wieder nicht. Ich leite ja nach einem Vektor ab
07.06.2011, 06:43	fenderbender	Auf diesen Beitrag antworten »
So jetzt versuch ichs nochmal. Ich habe folgende Erklärung eines Kommilitonen. Allerdings bin ich mir nicht ganz sicher, ob das so stimmt: (Wieder ist S eine Diagonalmatrix, C eine Symmetrische Matrix und die Kleinbuchstaben sind Vektoren, also auch h. $\begin{eqnarray} <br /> \frac{\delta }{\delta h} ( x-Sh)^T C^{-1} (x-Sh) <br /> = \frac{\delta (x-Sh)^T}{\delta h} C^{-1} (x-Sh) + (x-Sh)^T C^{-1} \frac{\delta (x-Sh)}{\delta h}<br /> \end{eqnarray}$ Bis hier ist alles klar, aber dann macht er mit $\begin{eqnarray} (B A)^T = A^T B^T \end{eqnarray}$ foglendes: $\begin{eqnarray} <br /> \frac{\delta (x-Sh)^T}{\delta h} C^{-1} (x-Sh) + \left(\left((x-Sh)^T C^{-1} \frac{\delta (x-Sh)}{\delta h} \right)^T \right)^T<br /> =\frac{\delta (x-Sh)^T}{\delta h} C^{-1} (x-Sh) + \left((x-Sh) C^{-1,T} \frac{\delta (x-Sh)^T}{\delta h} \right)^T <br /> \end{eqnarray}$ Den Rest versteh ich dann, aber in der letzten Zeile mag ich nicht akzeptieren, dass die Ableitung dann beim Transponierten Teil gemacht wird. Hätte sich die beim Trick nicht auch mitändern sollen? Danke

Neue Frage »

Antworten »

Matrixrechnung - Ableitung

Verwandte Themen