LGS und kleinste Fehlerquadrate

22.05.2008, 12:45

thec

LGS und kleinste Fehlerquadrate

Hallo,

ich habe mich ein wenig über die Methode der kleinsten Fehlerquadrate informiert, allerdings wird in diesem Zusammenhang in der Regel von einer Wertetabelle gesprochen. Ich soll allerdings ein LGS Ax = B mit Hilfe dieser Methode bestimmen und ich habe absolut keinen blassen Schimmer, wie ich an die Sache rangehen soll.

Die Aufgabe lautet eine Lösung für Folgendes zu bestimmen:

$\begin{eqnarray*} \begin{pmatrix} 1 & 3 & -4 \\ 3 & 9 & -2 \\ 4 & 12 & -6 \\ 2 & 6 & 2 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \\ x_3 \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \\ 1 \\ 1 \end{pmatrix} \end{eqnarray*}$

Wie gehe ich die Sache an? Wie funktioniert der Algorithmus zur Lösungbestimmung nach der Methode der kleinsten Fehlerquadrate im Zusammenhang mit linearen Gleichungssystemen?

22.05.2008, 18:44

tigerbine

Auf diesen Beitrag antworten »

RE: LGS und kleinste Fehlerquadrate
Wie funktioniert denn der Lösungsalgorithmus? Es werden Äquivalenzumformungen durchgeführt, so dass man 2 vergleichbare Probleme erhält. Mal für den einfachen Fall einer Ausgleichsgerade:

Zitat:

Original von tigerbine
Machen wir uns einmal die erwähnte Äquivlanz bewußt. Gesucht ist eine lineare Modellfunktion $\begin{eqnarray*} y_m(t)=x_0 + x_1 \cdot t \end{eqnarray*}$ . Das Optimierungsproblem lautet nun:

$\begin{eqnarray*} &&\min_{x} \sum_{i=1}^n~\Bigl( y_m(t_i) - y_i\Bigr)^2 \\ \Leftrightarrow && \min_{x} \sum_{i=1}^n \Bigl( x_1 \cdot 1 + x_1 \cdot t_i - y_i)^2 \Bigr) \\\Leftrightarrow && \min _{x}\sum_{i=1}^n~(z_i)^2 ,\qquad z_i:=x_0 + x_1\cdot t_i -y_i \\\Leftrightarrow && \min_x (z^Tz),~\qquad z:=(z_1,...,z_n)^T\\ \Leftrightarrow && \min_{x}~||z||_2^2 \\ \Leftrightarrow && \min_{x}~||z||_2 \\ \Leftrightarrow && \min_{x}~\begin{Vmatrix} \begin{pmatrix}x_0\cdot 1 + x_1 \cdot t_1 -y_1\\ \vdots \\x_0\cdot 1 + x_1 \cdot t_n -y_n \end{pmatrix} \end{Vmatrix}_2 \\ \Leftrightarrow && \min_{x}~\begin{Vmatrix} \begin{pmatrix}1 + t_1 \\ \vdots \\ 1 + t_n \end{pmatrix} \begin{pmatrix}x_0 \\x_1 \end{pmatrix} - \begin{pmatrix}y_1 \\ \vdots \\ y_n \end{pmatrix} \end{Vmatrix}_2 \end{eqnarray*}$

Vergleiche den Wikipedia Link für die in diesem Fall direkte Berechnung des Lösungsvekotrs x.

Das geht auch bei mehreren Variablen.

Zitat:

Original von tigerbine
Hängt die Modellfunktion von mehreren Variablen ab, so ergibt sich :

$\begin{eqnarray*} y_m(t) = x_0 + x_1\cdot t_1 + ...+x_q\cdot t_q \end{eqnarray*}$

Das hieraus resultierende LGS führt zu der Darstellung:

$\begin{eqnarray*} \min_x~\begin{Vmatrix}\begin{pmatrix}1&t_{11} & ...&t_{1q} \\\vdots &&&\vdots \\ 1 &t_{n1} & ... &t_{nq} \end{pmatrix}\begin{pmatrix} x_0 \\ \vdots \\x_q \end{pmatrix}-\begin{pmatrix} y_1 \\ \vdots \\ y_n\end{pmatrix} \end{Vmatrix}_2 \end{eqnarray*}$

Dies ist nun ein Problem, dessen Lösbarkeit wir bereits hier am Anfang besprochen haben. Lösungsverfahren sind das Normalengleichungsverfahren (Beachte! die Kondition der Matrizen) oder die QR-Zerlegung.

Und wir landen z.B. bei den Normalengleichungen:

Zitat:

Hier soll ein zum Minimierungsproblem äquivalentes aufgezeigt werden.

$\begin{eqnarray*} x^* \text{ löst }~\min!~||Ax-b||_2 ~\Leftrightarrow x^* \text{ löst } A^TAx = A^Tb \end{eqnarray*}$

Neue Frage »

Antworten »

LGS und kleinste Fehlerquadrate

Verwandte Themen