Herleitung der Normalengleichung ohne Ableitung

18.06.2013, 11:27

nachhelp

Herleitung der Normalengleichung ohne Ableitung

Meine Frage:
Hallo,

ich möchte gern die Normalengleichung aus der Methode der kleinsten Quadrate ohne Analysis herleiten.

Meine Ideen:
$\begin{eqnarray*} | Ax-b |^{2}=(Ax-b)\cdot (Ax-b)=(Ax)^{t}\cdot(Ax)-(2b)^{t}(Ax)+b\cdot b \end{eqnarray*}$

Da dieser Term minimal sein soll, kann man auch
$\begin{eqnarray*} (Ax)^{t}\cdot(Ax)-(2b)^{t}(Ax) \end{eqnarray*}$ betrachten, weil

$\begin{eqnarray*} b\cdot b \end{eqnarray*}$ konstant ist.

Jetzt muss ich aber zeigen, dass $\begin{eqnarray*} (Ax)^{t}\cdot(Ax)-(2b)^{t}(Ax)\geq 0 \end{eqnarray*}$ .

Dafür habe leider gar keine Idee. Kann mir jemand helfen, bitte?

19.06.2013, 04:46

Dopap

Auf diesen Beitrag antworten »

wenn man so eine Idee hat, dann sollte man das Problem darlegen und die verwendeten Symbole auch erklären.

Ausgleich durch ein Polynom? welcher Grad ? etc...

19.06.2013, 11:59

Auf diesen Beitrag antworten »

Ok,

es geht darum, eine Näherungslösung für das überbestimmte lineare Gleichungssystem $\begin{eqnarray*} Ax=b \end{eqnarray*}$ zu bestimmen. $\begin{eqnarray*} A \end{eqnarray*}$ ist eine $\begin{eqnarray*} m \times n \end{eqnarray*}$ Matrix.

Also minimiert man nach der Methode der kleinsten Quadrate folgenden Term:

$\begin{eqnarray*} |Ax=b|^{2}=(Ax-b) \cdot (Ax-b) \end{eqnarray*}$ ,

wobei $\begin{eqnarray*} "\cdot" \end{eqnarray*}$ das Skalarprodukt meint.

$\begin{eqnarray*} (Ax-b) \cdot (Ax-b)= (Ax)^{t}\cdot(Ax)-(2b)^{t}\cdot (Ax)+ b^{t}\cdot b \end{eqnarray*}$ ,

wobei hier $\begin{eqnarray*} A^{t} \end{eqnarray*}$ transponiert bedeutet.

Da $\begin{eqnarray*} b^{t}\cdot b \end{eqnarray*}$ konstant ist, reicht es auch zu zeigen, für welches x

$\begin{eqnarray*} (Ax)^{t}\cdot(Ax)-(2b)^{t}\cdot (Ax) \end{eqnarray*}$

minimal wird. Aber man muss auch zeigen, dass man durch die Wegnahme des $\begin{eqnarray*} b^{t}\cdot b \end{eqnarray*}$ kein negatives Minimum findet. Also ist z.z.

$\begin{eqnarray*} (Ax)^{t}\cdot(Ax)-(2b)^{t}\cdot (Ax)\geq 0 \end{eqnarray*}$ .

Und da weiß ich leider nicht weiter.

19.06.2013, 18:24

Dopap

Auf diesen Beitrag antworten »

Leider kann ich dir da nicht weiterhelfen. Ich mach das dann so:

$\begin{eqnarray*} A\cdot \vec x = \vec b \end{eqnarray*}$

$\begin{eqnarray*} A=A_{m,n} ~ \text{mit} ~ m>n \end{eqnarray*}$ ist ein überbestimmtes Gleichungssystem.

$\begin{eqnarray*} A^{t}\cdot A \cdot \vec x = A^{t}\cdot \vec b \end{eqnarray*}$

ist lösbar. Der Lösungsvektor $\begin{eqnarray*} \vec x^{*} \end{eqnarray*}$ ist dann so optimiert dass das Residuum ein Minimum annimmt:

$\begin{eqnarray*} A\cdot \vec x^{*} =\vec b^{*} \end{eqnarray*}$

mit $\begin{eqnarray*} |\vec b^{*} - \vec b |= \rm Min \end{eqnarray*}$

19.06.2013, 19:52

frank09

Auf diesen Beitrag antworten »

RE: Herleitung der Normalengleichung ohne Ableitung

Zitat:

$\begin{eqnarray*} (Ax)^{t}\cdot(Ax)-(2b)^{t}\cdot (Ax)\geq 0 \end{eqnarray*}$

.

kannst du nicht zeigen, weil ich b (fast) beliebig wählen kann.
Also auch so, dass diese Aussage nicht stimmt.

Die Spaltenvektoren von A $\begin{eqnarray*} a_1,a_2,..,a_n \end{eqnarray*}$ erzeugen einen k-dimensionalen Vektorraum:

$\begin{eqnarray*} V_k=span \left\{a_1,a_2,..,a_n\right\} \end{eqnarray*}$
Dazu lässt sich einen orthogonale Basis aus k Basisvektoren $\begin{eqnarray*} B_1=(b_1,b_2,..,b_k) \end{eqnarray*}$ konstruieren.
Nimmt man nun b $\begin{eqnarray*} \notin V_k \end{eqnarray*}$ dazu, kann man einen einen k+1-dim. Vektorraum
$\begin{eqnarray*} V_{k+1}=span \left\{a_1,a_2,..,a_n,b \right\} \end{eqnarray*}$ mit der orthogonalen Basis $\begin{eqnarray*} B_2 =(b_1,b_2,..,b_k,b_{k+1}) \end{eqnarray*}$ aufspannen

Es gibt nun eine eindeutige Darstellung

$\begin{eqnarray*} b=\lambda_1 b_1+\lambda_1 b_2+...+\lambda_{k+1} b_{k+1} \end{eqnarray*}$
$\begin{eqnarray*} \lambda_{k+1} \neq 0 \end{eqnarray*}$
Sei ferner

$\begin{eqnarray*} Ax=x_1a_1+x_2a_2+...+x_na_n=\mu_1 b_1+\mu_2 b_2+...+\mu_k b_k \end{eqnarray*}$

damit

$\begin{eqnarray*} Ax-b=(\mu_1-\lambda_1)b_1+(\mu_2-\lambda_2)b_2+...+(\mu_k-\lambda_k)b_k-\lambda_{k+1} b_{k+1} \end{eqnarray*}$

Welche Werte müssen $\begin{eqnarray*} (\mu_1-\lambda_1),(\mu_2-\lambda_2),...,(\mu_k-\lambda_k) \end{eqnarray*}$ annehmen, damit
$\begin{eqnarray*} |Ax-b|^2 \end{eqnarray*}$ minimal wird und was hieße das für $\begin{eqnarray*} A^t(Ax-b) \end{eqnarray*}$ ?

Neue Frage »

Antworten »

Herleitung der Normalengleichung ohne Ableitung

Verwandte Themen