Normalengleichung

12.02.2007, 09:39	Ambrosius	Auf diesen Beitrag antworten »
Normalengleichung Es geht um die Methode der kleinsten Fehlerquadrate. Ich habe also ein LGS $\begin{eqnarray} A x = b \end{eqnarray}$ mit nicht notwendig regulärer Matrix A. Dann existiert stets eine Lösung $\begin{eqnarray} \overline{x} \end{eqnarray}$ mit $\begin{eqnarray} \|\| A \overline{x} - b \|\|_2^2 \leq \|\| A x - b \|\|_2^2 \quad \forall x \end{eqnarray}$ Dies ist äquivalent zu Normalengleichung $\begin{eqnarray} A^T A x = A^T b \end{eqnarray}$ Diese äquivalenz ist zu zeigen. Wenn nun $\begin{eqnarray} \overline{x} \end{eqnarray}$ die Normalengleichung löst, dann gilt: $\begin{eqnarray} \|\| b - A x \|\|_2^2 = \|\| b - A \overline{x} + A ( \overline{x} - x) \|\|_2^2 = \|\| b - A \overline{x} \|\|_2^2 + 2 \langle b - A \overline{x} , A ( \overline{x} - x) \rangle + \|\| A ( \overline{x} - x) \|\|_2^2 \geq \| b - A \overline{x} \|\|_2^2 \end{eqnarray}$ Meine Frage ist nun warum der mittlere Term nicht negativ sein kann???
12.02.2007, 13:20	tigerbine	Auf diesen Beitrag antworten »
RE: Normalengleichung $\begin{eqnarray} x^ \text{ löst } \min! \|\|b-Ax\|\|_2 \Leftrightarrow x^* \text{ löst } A^TAx = A^Tb \end{eqnarray}$ Sei nun x Lösung der Normalengleichungen (rechts). Dann gilt: $\begin{eqnarray} \|\|Ax-b\|\|_2^2 = \|\|Ax-Ax^+Ax^-b\|\|_2^2 =\|\|A(x-x^) + (Ax^-b)\|\|_2^2 = \end{eqnarray}$ "Rechentrick" $\begin{eqnarray} \Bigl( A(x-x^) + (Ax^-b)\Bigr)^T \Bigl( A(x-x^) + (Ax^-b) \Bigr) = \end{eqnarray}$ "Andere Scheibweise der verwendeten Norm $\begin{eqnarray} \|\| A(x-x^)\|\|_2^2 + 2(x-x^)^TA^T (Ax^-b) + \|\|(Ax^-b)\|\|_2^2 \end{eqnarray}$ Auflösen der Norm und neu zusammenfassen. Nun zum Mittleren Term: $\begin{eqnarray} 2(x-x^)^TA^T (Ax^-b) \end{eqnarray}$ Betrachten wir nur den Teil: $\begin{eqnarray} A^T (Ax^-b) \end{eqnarray}$ Da die Normalengleichungen erfüllt sind gilt: $\begin{eqnarray} A^T (Ax^-b) = A^TAx - A^Tb = 0 \end{eqnarray}$ Daraus folgt letzendlich: $\begin{eqnarray} =\|\| A(x-x^)\|\|_2^2 + \|\|(Ax^-b)\|\|_2^2 \end{eqnarray}$ $\begin{eqnarray} \geq \|\|Ax^-b\|\|_2^2 \end{eqnarray*}$
12.02.2007, 13:47	Ambrosius	Auf diesen Beitrag antworten »
RE: Normalengleichung ah ja, jetzt habe ich verstanden: ich schreibe unter Ausnutzung der Symmetrie: $\begin{eqnarray} \langle b - A \overline{x} , A ( \overline{x} - x) \rangle = \langle A ( \overline{x} - x) , b - A \overline{x} \rangle = (A ( \overline{x} - x))^T (b - A \overline{x}) = ( \overline{x} - x)^T A^T (b - A \overline{x}) = 0 \end{eqnarray}$ da $\begin{eqnarray} (b - A \overline{x}) \in ker(A^T) \end{eqnarray}$

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »