Fehlerquadrate von Gauß

04.09.2004, 14:18

bravelein

Fehlerquadrate von Gauß

Hallo zusammen.

Ich brauche dringend Hilfe zu dem Thema "Methode der kleinsten Fehlerquadrate". An sich hab ich das Thema mit den linearen Ausgleichsgeraden schon relativ verstanden, dank einiger super Beschreibungen hier im Netz aber ich muss eine nichtlineare Ausgleichsgerade berechnen eben mit der Methode der kleinsten Fehlerquadrate...

Die Datenpaare lauten:

t in sec | s in m

0 | 0
1 | 0,05
2 | 0,21
4 | 0,82
5 | 1,29
6 | 1,87

Und die Aufgabe dazu:

1) Finden Sie eine mit der Methode der kelinsten Fehlerquadrate von Gauß eine Näherungsfunktion der Form f(x)= ax² mit einer geeigneten reellen Zahl a für die obigen Daten.

2) Leiten Sie eine allgemeine Formel her, mit der zu gegebenen Punktepaaren (x1/y1), ... , (xn/yn) eine Näherungsfunktion der Form f(x)=ax² gefunden werden kann.

Erklärungen find ich schon ein paar im Netz, aber die sind entweder in einer Programmiersprache für Mathe-Programme oder einfach zu "hoch" für mich, da die von Profs für Profs geschrieben sind.
Nun ja, jetzt bin ich hier gelandet und erhoffe mir, dass mir eine nette Person weiter helfen kann.

Also: Kann mir einer die Aufgeben erklären? Bzw. eine gute Homepage nennen wo das "einfach" erklärt ist?

Würd mich riesig über eure Hilfe freuen.

bravelein

04.09.2004, 14:55

Ben Sisko

Auf diesen Beitrag antworten »

RE: Fehlerquadrate von Gauß
Setz die Werte in deine Funktion ein (x ist hier t) und berechne diese Funktionswerte in Abhängigkeit von a. Dann musst du die quadrierten Fehler (weißt du was das ist?) aufsummieren und hast dann eine Funktion in Abhängigkeit von a. Von dieser musst du dann ein Minimum finden.

Gruß vom Ben

08.09.2004, 20:47

DJohnny79

Auf diesen Beitrag antworten »

Hallo @Bravelein:

Sisko hat schon recht;

Generell ist ja die Least-Squares-Methode "definiert" als:
$\begin{eqnarray*} [ \mid|A*x-b| \mid ]_{2} -> min \end{eqnarray*}$

Dazu brauchst du ne Modellfunktion(hier also dein f(x)=ax²
(für den linearen Ausgleich gilt das zumindest)

Du brauchst deinen Parameter a um ein Minimum zu erhalten;
Dazu fasst du das x² als "Teilfunktion" PHI 1 auf und setzt für dieses PHI Alle x-Werte ein, und dadurch erhälst du einen Vektor(Sorry kenn das nur mit 2 Parametern, versuche das deswegen gerade gedanklich auf ne 1-Spaltige Matrix runter zu reduzieren)

Als Seite b setzt du dann im linearen Fall deine y-Werte ein.

In jedem Fall erhälst du also ein überbestimmtest Gleichungssystem, das kannst du dann (im Fall von 2 Teilfunktionen)mit Givens-Rotationen oder Normal(en)gleichungen lösen; Auf obere Dreiecksform bringen.

Dein Lösungsvektor x (Von Ax=b) ist in diesem Falle dann gleich deinem Parameter a den du suchst um das Problem zu minimieren;

Und der Rest, also die b-Werte die nach der Transformation 0 ergeben sind dein Residuenvektor, der Fehler den du mit deiner Modellfunktion zum wahren Wert machst;

Hoffe das ist einigermassen verständlich verwirrt

:rolleyes: geschockt

;

Im Fall des Nichtlinearen Ausgleichs wird das ganze dann noch mal ne Nummer schwieriger, da versuche ich mich auch grade dran :p

Viel Erfolg

Greetz

DJ

09.09.2004, 00:16

mathemaduenn

Auf diesen Beitrag antworten »

Hallo DJohnny79,
Givens Rotation na mal ehrlich besonders problembezogen ist dieser Hinweis nicht.
gruß
mathemaduenn

09.09.2004, 00:44

Tobias

Auf diesen Beitrag antworten »

Ok, hier nochmal:

Gegeben ist eine Modellfunktion vom Typ:
$\begin{eqnarray*} f(x) = \varphi_1(x) \cdot v_1 + \ldots + \varphi_r(x) \cdot v_r \end{eqnarray*}$

Weiterhin seien n "Messwerte" gegeben. Sie bestehen aus den Paaren $\begin{eqnarray*} (x_i, f_i) \end{eqnarray*}$ .

Eine (n x r) Matrix A ist definiert als:

$\begin{eqnarray*} A := \begin{pmatrix} \varphi_1(x_1) & \cdots & \varphi_r(x_1) \\ \vdots & & \vdots \\ \varphi_1(x_n) & \cdots & \varphi_r(x_n) \end{pmatrix} \end{eqnarray*}$

Ferner noch ein Vektor $\begin{eqnarray*} b := (f_1, \ldots, f_n)^T \end{eqnarray*}$ .

Gesucht wird der Lösungsvektor $\begin{eqnarray*} x := (v_1, \ldots, v_r)^T \end{eqnarray*}$ .

Das lineare Gleichungssystem Ax = b ist für n > r überbestimmt und es existiert u.U. keine exakte Lösung. Man sucht also nach der besten Approximation. Dieses Problem heißt lineares Ausgleichsproblem und ist definiert als:
$\begin{eqnarray*} \| Ax - b \|_2 \to \min \end{eqnarray*}$ .

Ein Lösungsansatz hierfür ist die Normalengleichung. Statt Ax = b löst man:

$\begin{eqnarray*} A^T A x = A^T b \end{eqnarray*}$

Es gibt noch weitere, numerisch günstigere Verfahren (z.B. QR-Zerlegung von A mittels Householder Spiegelungen oder angesprochenen Givens Rotationen), die aber erst für sehr viele Messwerte Sinn machen.

09.09.2004, 01:32

mathemaduenn

Auf diesen Beitrag antworten »

Hallo bravelein,
Ich möchte Ben's Hinweis nochmal aufgreifen Die Fehlerquadratsumme als Funktion von a auffassen
$\begin{eqnarray*} r(a)=\sum_{k=1}^n~(y_k-ax_k^2)^2 \end{eqnarray*}$
und Minimum finden.
@Tobias
Ich dachte immer Orthogonalisierungsverfahren verwendet man wenn $\begin{eqnarray*} A^TA \end{eqnarray*}$ nur "schwer" inververtierbar ist unabhängig von der Anzahl der Zeilen von A.
gruß
mathemaduenn

09.09.2004, 01:34

Ben Sisko

Auf diesen Beitrag antworten »

Zitat:

Original von mathemaduenn
Ich möchte Ben's Hinweis nochmal aufgreifen Die Fehlerquadratsumme als Funktion von a auffassen
$\begin{eqnarray*} r(a)=\sum_{k=1}^n~(y_k-ax_k^2)^2 \end{eqnarray*}$
und Minimum finden.

Hört sich so viel leichter an als die restlichen Tipps, nicht wahr? Augenzwinkern

09.09.2004, 11:00

Tobias

Auf diesen Beitrag antworten »

Zitat:

Original von mathemaduenn
@Tobias
Ich dachte immer Orthogonalisierungsverfahren verwendet man wenn $\begin{eqnarray*} A^TA \end{eqnarray*}$ nur "schwer" inververtierbar ist unabhängig von der Anzahl der Zeilen von A.

Da sowas meistens nicht von Menschenhand berechnet wird spielen hier insbesondere Begrife wie "Kondition" und "Stabilität" eine Rolle. Die Kondition eines Algorithmus kann man auffassen als die Fehlerverstärkung unter Verwendung von exakter Arithmetik. Unter Stabilität fallen z.B. ungewollte Auslöschungen, weil die Mantisse zu klein ist, etc.

Die Normalengleichung ist meistens schlecht konditioniert, auch deshalb verwendet man Orthogonalisierungsverfahren.

09.09.2004, 16:22

mathemaduenn

Auf diesen Beitrag antworten »

Hallo Tobias,
Die Konditionszahl der Matrix $\begin{eqnarray*} A^TA , cond(A^tA)=\frac{\lambda _{max}}{\lambda _{min}} \end{eqnarray*}$ kann nat. u.U. sehr groß werden. Polynomiale Ansatzfunktionen(genauer $\begin{eqnarray*} \left\{ 1,x,x^2,x^3,x^4,...\right\} \end{eqnarray*}$ ) auf einem äquidistanten Gitter wären so ein Bsp. das das im Allgemeinen so ist ist mir neu. Nochmal die Frage weils mir nicht ganz klar ist hat die Verwendung von Orthogonalisierungsverfahren nun mit der Anzahl der Messwerte zu tun oder nicht?
gruß
mathemaduenn

09.09.2004, 17:25

Tobias

Auf diesen Beitrag antworten »

Wenn die Matrix $\begin{eqnarray*} A^TA \end{eqnarray*}$ "schwer" invertierbar ist, so gilt ja:
$\begin{eqnarray*} \det(A^TA) \neq 0 \end{eqnarray*}$ . In diesem Fall wäre für eine QR Zerlegung von A $\begin{eqnarray*} cond(A^TA) = cond(R)^2 \end{eqnarray*}$ . Für schwer invertierbare Matrizen eignet sich also die Orthogonalisierung, wie du schon sagtest. Eine Orthogonalisierung hat demnach nichts mit der Anzahl der Messwerte zu tun.
Was ich mit "Sinn machen" meinte war vielmehr die Tatsache, dass der Aufwand für eine QR Zerlegung sich erst dann lohnt, wenn der Fehler durch die Normalengleichung ausschlaggebend wird. Hat man viele Messwerte, so wird das Ergebnis exakter als bei wenigen, da wäre es schade, wenn man dann einen schlecht konditionierten Algorithmus anwenden würde. Bei drei Messwerten wird es aber -so glaube ich- keinen großen Unterschied zwischen Normalengleichung und QR-Verfahren geben.

09.09.2004, 21:59

mathemaduenn

Auf diesen Beitrag antworten »

Hallo Tobias,
Danke für die Antwort. Ich persönlich hätte keine "Bauchschmerzen" bei einer 5x5 Matrix mittels Gauß Lösungen zu suchen. Du hast natürlich recht das es schade wäre Genauigkeit zu verlieren. Im vorliegenden Fall (1x1 Matrix) ist der Hinweis aber unnötig gewesen.
gruß
mathemaduenn

09.09.2004, 22:48

Tobias

Auf diesen Beitrag antworten »

Ja, eigentlich war mein Beitrag im Gesamten sinnlos. :P

Das sollte nur das Gewissen derer beruhigen, die mit der von DJohnny angesprochenen Givens-Rotation nichts anfangen konnten. Ich sehe das auch ein bisschen stärker durch die Augen eines auf Komplexität und Stabilität bedachten Informatikers. In der Realität wird es ja kaum Ausgleichsprobleme mit 5 Messwerten geben. Vielmehr kommen Millionen zusammen und dann zählt jeder Rechenschritt.

Egal, offtopic!

MfG

Neue Frage »

Antworten »

Fehlerquadrate von Gauß

Verwandte Themen