Ableitung einer Quadratsumme

07.06.2018, 10:51

Manuel7237

Auf diesen Beitrag antworten »

Ableitung einer Quadratsumme

Hallo,
Es seien $\begin{eqnarray*} a_1,a_2,..... ,a_k \in \mathbb R^n \end{eqnarray*}$ und $\begin{eqnarray*} f :\mathbb R^n \rightarrow \mathbb R \end{eqnarray*}$ defniert durch

$\begin{eqnarray*} f(x) = \sum_{j=1}^k ||x-a_j||^2 \end{eqnarray*}$

Es geht darum das Minimum zu bestimmen.
Zuerst brauche ich erstmal die Ableitung, die in diesem Fall der Gradient ist.

$\begin{eqnarray*} f(x) = \sum_{j=1}^k ||x-a_j||^2 = \sum_{j=1}^k ( \sum_{i=1}^n (x_i-a_{j i})^2<br /> \end{eqnarray*}$
$\begin{eqnarray*} a_{ji} \end{eqnarray*}$ soll die i-te Komponente von $\begin{eqnarray*} a_j \end{eqnarray*}$ sein.

Dann ist $\begin{eqnarray*} f_{x_i}= \sum_{j=1}^k 2 \sum_{i=1}^n (x_i-a_{j i} ) \end{eqnarray*}$
Ist das so richtig?

07.06.2018, 11:04

HAL 9000

Auf diesen Beitrag antworten »

Erst kürzlich dazu zwei Anfragen eines gewissen Niick/niicc

https://www.matheboard.de/thread.php?threadid=586316
https://www.matheboard.de/thread.php?threadid=479038

der es vorgezogen hat, sich nicht wieder zu melden - anscheinend ein Kommilitone. Augenzwinkern

Augenzwinkern

07.06.2018, 11:16

Manuel7237

Auf diesen Beitrag antworten »

Danke

smile

Dann ist doch meine Ableitung so richtig:
$\begin{eqnarray*} f_{x_i}= \sum_{j=1}^k 2 \sum_{i=1}^n (x_i-a_{j i} ) \end{eqnarray*}$ oder?

07.06.2018, 11:21

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Manuel7237
$\begin{eqnarray*} f(x) = \sum_{j=1}^k ||x-a_j||^2 = \sum_{j=1}^k ( \sum_{i=1}^n (x_i-a_{j i})^2<br /> \end{eqnarray*}$
$\begin{eqnarray*} a_{ji} \end{eqnarray*}$ soll die i-te Komponente von $\begin{eqnarray*} a_j \end{eqnarray*}$ sein.

Dann ist $\begin{eqnarray*} f_{x_i}= \sum_{j=1}^k 2 \sum_{i=1}^n (x_i-a_{j i} ) \end{eqnarray*}$

Nein, falsch: Das Grundübel ist, nach einer Variablen $\begin{eqnarray*} x_i \end{eqnarray*}$ ableiten zu wollen und gleichzeitig weiterhin den Index $\begin{eqnarray*} i \end{eqnarray*}$ in der inneren Summe verwenden zu wollen, was dann zum Fehler führt! Indizieren wir daher mal in der inneren Summe um von $\begin{eqnarray*} i \end{eqnarray*}$ auf das "unbelastete" $\begin{eqnarray*} m \end{eqnarray*}$ , und erhalten somit

$\begin{eqnarray*} f_{x_i}= \frac{\partial}{\partial x_i} \sum_{j=1}^k \|x-a_j\|^2 = \sum_{j=1}^k \frac{\partial}{\partial x_i} \sum_{m=1}^n \left(x_m-a_{jm}\right)^2 \end{eqnarray*}$ .

Dämmert es jetzt schon?

07.06.2018, 11:29

Manuel7237

Auf diesen Beitrag antworten »

Zitat:

Original von HAL 9000

$\begin{eqnarray*} f_{x_i}= \frac{\partial}{\partial x_i} \sum_{j=1}^k \|x-a_j\|^2 = \sum_{j=1}^k \frac{\partial}{\partial x_i} \sum_{m=1}^n \left(x_m-a_{jm}\right)^2 \end{eqnarray*}$ .

Dämmert es jetzt schon?

Noch nicht ganz.
In der 2. Summe wird doch dann nach der Kettenregel differenziert. Es gibt doch dann trotzdem eine i- te Stelle in der Summer über die x_m?

07.06.2018, 11:31

HAL 9000

Auf diesen Beitrag antworten »

Ja, aber nur der eine Summand ist betroffen! Für $\begin{eqnarray*} m\neq i \end{eqnarray*}$ ist der Summand $\begin{eqnarray*} \left(x_m-a_{jm}\right)^2 \end{eqnarray*}$ hingegen eine Konstante bzgl. $\begin{eqnarray*} x_i \end{eqnarray*}$ , mit Ableitung 0.

Nur für $\begin{eqnarray*} m=i \end{eqnarray*}$ bekommt man dann $\begin{eqnarray*} \frac{\partial}{\partial x_i} \left(x_i-a_{ji}\right)^2 = 2\left(x_i-a_{ji}\right) \end{eqnarray*}$ , d.h., die innere m-Summe wird in der Ableitung reduziert auf nur noch diesen einen Summanden.

Anzeige

07.06.2018, 11:37

Manuel7237

Auf diesen Beitrag antworten »

Aso, d.h dann:
$\begin{eqnarray*} f_{x_i}= \frac{\partial}{\partial x_i} \sum_{j=1}^k \|x-a_j\|^2 = \sum_{j=1}^k \frac{\partial}{\partial x_i} \sum_{m=1}^n \left(x_m-a_{jm}\right)^2<br /> = \sum_{j=1}^k 2 (x_i-a_{ji}) \end{eqnarray*}$ .
D.h der Gradient f hat in der i ten Stelle diese Komponentenfunktion.

07.06.2018, 11:39

HAL 9000

Auf diesen Beitrag antworten »

So stimmt es, gleich als Vektor geschrieben (wie im verlinkten Thread geschehen) heißt das $\begin{eqnarray*} \nabla f = 2\sum_{j=1}^k \left(x-a_j\right) \end{eqnarray*}$

07.06.2018, 11:48

Manuel7237

Auf diesen Beitrag antworten »

Danke

smile

D.h wenn ich jetzt zeigen will, dass es das es ein eindeutiges globales Min gibt,
muss ich erstmal als notwenige Bedinung für das Vorliegen eines Extremums den Gradienten 0 setzen, also

$\begin{eqnarray*} \nabla f = 2\sum_{j=1}^k \left(x-a_j\right) =0 \end{eqnarray*}$

Wenn ich durch 2 teile, ändert das erstmal nichts, Dann kann man wie folgt rechnen:

$\begin{eqnarray*} \sum_{j=1}^k x - \sum_{j=1}^k a_j =0 \Leftrightarrow x \sum_{j=1}^k 1 = \sum_{j=1}^k a_j \Leftrightarrow xk = \sum_{j=1}^k a_j \Leftrightarrow x = \frac{1}{k} \sum_{j=1}^k a_j \end{eqnarray*}$

Wenn ich jetzt hinreichend auf ein Minimum testen will, muss ich ich die Hessematrix untersuchen auf positive Definitheit. Oder geht das noch einfacher vllt?

07.06.2018, 11:51

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Manuel7237
Wenn ich jetzt hinreichend auf ein Minimum testen will, muss ich ich die Hessematrix untersuchen auf positive Definitheit. Oder geht das noch einfacher vllt?

Ja, Hessematrix - oder aber ganz analysisfrei agieren, wie im verlinkten Thread ausführlichst beschrieben.

07.06.2018, 11:56

Manuel7237

Auf diesen Beitrag antworten »

Ok gut,
nur mal zur Übung, würde ich mal die 2. Ableitung berechnen:

$\begin{eqnarray*} f_{x_i x_j}= \frac{\partial}{\partial x_j}2 \sum_{m=1}^k (x_m-a_{mi}) =2 \end{eqnarray*}$ .
Ist das so? verwirrt

verwirrt

07.06.2018, 11:59

HAL 9000

Auf diesen Beitrag antworten »

Nein, wenn du richtig rechnest bekommst du $\begin{eqnarray*} f_{x_ix_j}=2 \end{eqnarray*}$ nur für $\begin{eqnarray*} i=j \end{eqnarray*}$ , aber 0 für $\begin{eqnarray*} i\neq j \end{eqnarray*}$ .

07.06.2018, 12:06

Manuel7237

Auf diesen Beitrag antworten »

Achso muss man das machen:
D.h ich betrachte jede Komponente des Gradienten als Funktion, die nach x_1 bis x_n ableite.
D.h meine Hesse matrix ist eine nxn-Matrix. Hat dann meine Matrix, die Gestalt, wie eine Diagonalmatrix mit 2 auf der Diagonalen?

07.06.2018, 12:42

HAL 9000

Auf diesen Beitrag antworten »

Korrektur: Es ist natürlich $\begin{eqnarray*} f_{x_ix_i}=2{\color{red}k} \end{eqnarray*}$ , hatte die äußere Summation ganz vergessen. Hammer

Hammer

07.06.2018, 12:46

Manuel7237

Auf diesen Beitrag antworten »

Wie kommt das k noch zustande verwirrt

verwirrt

07.06.2018, 12:54

HAL 9000

Auf diesen Beitrag antworten »

Naja, das hattest du doch selbst oben: $\begin{eqnarray*} \nabla f = 2\sum_{j=1}^k \left(x-a_j\right) = 2\sum_{j=1}^k x - 2\sum_{j=1}^k a_j = {\color{red}2k}x - 2\sum_{j=1}^k a_j \end{eqnarray*}$ .

07.06.2018, 13:01

Manuel7237

Auf diesen Beitrag antworten »

Ja das stimmt.
Aber wenn die Summe auschreibt:

$\begin{eqnarray*} f_{x_i x_i}= \frac{\partial}{\partial x_i}2 \sum_{m=1}^k (x_m-a_{mi}) =2 \frac{\partial}{\partial x_i}( (x_1-a_{1i})+.....+(x_k-a_{ki})) \end{eqnarray*}$ .
Dann fallen doch alle Summanden weg außer der i-te und der ist differenziert 1.
Wie mache ich mir also das k so plausibel?

07.06.2018, 13:18

HAL 9000

Auf diesen Beitrag antworten »

Irgendwie hast du ein gewaltiges Problem mit Vektoren und deren Komponenten - du schreibst ständig falsche Summen auf. unglücklich

unglücklich

Die $\begin{eqnarray*} i \end{eqnarray*}$ -te Komponente des obigen Gradienten lautet

$\begin{eqnarray*} f_{x_i} = (\nabla f)_i = 2kx_i - 2\sum_{j=1}^k a_{ji} \end{eqnarray*}$ .

Dies nach $\begin{eqnarray*} x_j \end{eqnarray*}$ differenziert ergibt 0 im Fall $\begin{eqnarray*} j\neq i \end{eqnarray*}$ , sowie 2k im Fall $\begin{eqnarray*} j=i \end{eqnarray*}$ .

EDIT: Ok, ich erkenne jetzt die Wurzel des Übels: Aus $\begin{eqnarray*} f_{x_i} = 2\sum_{j=1}^k \left(x_i - a_{ji}\right) \end{eqnarray*}$ hast du das falsche $\begin{eqnarray*} f_{x_i} \stackrel{???}{=} 2\sum_{j=1}^k \left(x_j - a_{ji}\right) \end{eqnarray*}$ gemacht und dann $\begin{eqnarray*} j \end{eqnarray*}$ zu $\begin{eqnarray*} m \end{eqnarray*}$ umindiziert. Finger1

Finger1

07.06.2018, 13:24

Manuel7237

Auf diesen Beitrag antworten »

Sorry. Jetzt habe ich es verstanden:
Ist dann meine Hessematrix von der Gestalt : $\begin{eqnarray*} 2k E_n \end{eqnarray*}$

07.06.2018, 13:24

HAL 9000

Auf diesen Beitrag antworten »

Ja.

07.06.2018, 13:28

Manuel7237

Auf diesen Beitrag antworten »

D.h Eigenwert ist 2k>0. Damit ist die Matrix positiv definit und es gibt nur dieses Min.
Das Minimum ist global, denn $\begin{eqnarray*} lim_{ x\rightarrow -\infty} f(x)= \infty \end{eqnarray*}$

07.06.2018, 17:25

Manuel7237

Auf diesen Beitrag antworten »

Stimmt das?

07.06.2018, 17:34

HAL 9000

Auf diesen Beitrag antworten »

Ja. Aber nochmal: Wenn du solche Zweifel hast, und ständig nachfragst, dann nimm doch den anderen elementaren Weg.

07.06.2018, 17:37

Manuel7237

Auf diesen Beitrag antworten »

Welchen anderen elementaren Weg meinst du?

07.06.2018, 17:44

HAL 9000

Auf diesen Beitrag antworten »

Wenn du nicht mal bereit bist, zurückzublättern, wo ich mehrfach drauf hingewiesen habe, dann lass es. unglücklich

unglücklich

07.06.2018, 17:46

Manuel7237

Auf diesen Beitrag antworten »

Ok. Danke dir für deine Hilfe smile

smile

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »