Methode der kleinsten Fehlerquadrate

19.08.2010, 21:26

Ein Fragensteller

Methode der kleinsten Fehlerquadrate

Meine Frage:
Hi ich sitze schon eine ganze Weile vor einer Aufgabe und weiß nich weiter.
Es geht um die Methode der kleinsten Fehlerquadrate.

Ich habe 4 (x,y) Messwerte und den Ansatz f(x) = a + b*x(x-1).

Nun soll ich mithilfe dieser Methode die Parameter a und b bestimmen.

Die Frage die ich habe ist: Kann ich das so machen, oder mache ich damit einen Fehler?

Meine Ideen:
Meine Idee war folgende:

Die Summe der Fehlerquadrate soll ja minimiert werden:

$\begin{eqnarray*} S = \sum\limits_{i=1}^n (f(x_i) - y_i)^2 \end{eqnarray*}$

also folgt ausgeschrieben :

$\begin{eqnarray*} S = \sum\limits_{i=1}^n ([a + b*x(x-1)] - y_i)^2 \end{eqnarray*}$

jetzt muss ich ja die partiellen Ableitungen nach a und b berechnen und 0 setzen. Ich habe hierfür folgendes rausbekommen:

$\begin{eqnarray*} \frac{dS}{da} = 2 \sum\limits_{i=1}^n ([a + b*x_i(x_i-1)] - y_i) = 0 \end{eqnarray*}$
$\begin{eqnarray*} \frac{dS}{da} = 2 \sum\limits_{i=1}^n (([a + b*x_i(x_i-1)] - y_i) * x_i(x_i-1) ) = 0 \end{eqnarray*}$

Und das umformuliert:

$\begin{eqnarray*} a \sum\limits_{i=1}^n 1 + b \sum\limits_{i=1}^n x_i(x_i-1) = \sum\limits_{i=1}^n y_i \end{eqnarray*}$
$\begin{eqnarray*} a \sum\limits_{i=1}^n x_i(x_i-1) + b \sum\limits_{i=1}^n (x_i(x_i-1))^2 = \sum\limits_{i=1}^n (y_i *x_i(x_i-1)) \end{eqnarray*}$

Somit kann ich ja ein Gleichungssystem aufstellen, wenn ich für die Summen die entsprechenden Werte aus meinen Messwerten nehme.
Ich erhalte somit 2 Gleichungen für 2 Unbekannte (a und b).

(Anmerkung: ich habe diese Anleitung in dieser Form in den persönlichen Aufzeichnungen meines Vaters gefunden, und logisch gefunden)

Nur komme ich damit auf keine vernünftigen Ergebnisse. Das Gleichungssystem kann ich richtig lösen.

Kann mir bitte jemand weiterhelfen?

19.08.2010, 22:07

tigerbine

Auf diesen Beitrag antworten »

Muss du es selbst lösen oder interessiert nur die Lösung? [Weil du wohl keine eigenen Unterlagen hast] F

Praktisch: http://www.ammu.at/archiv/16/16_4.html

Theorie

Die Zielfuntkion ist Polynomnial: http://de.wikipedia.org/wiki/Methode_der...ne_lineare_Fall

Da sollte man doch was über Normalengleichungen machen können. Bin aber aktuell nicht im Stoff drin. Ich empfehle auch die Boardsuche, Fragen kamen schon öfter.

Sorry, dass ich im Moment nicht mehr für dich tun kann. Wink

19.08.2010, 22:31

Ein Fragensteller

Auf diesen Beitrag antworten »

Hauptsächlich würde mich interessieren ob ich eine solche Aufgabemit dieser Methode lösen kann.

Ich habe schon eine Weile im Internet gesucht und wurde auch fündig. Das Prinzip habe ich verstanden. Nur verwirrt mich die Tatsache, dass ich hier ja eine Funktion zweiten Grades finden muss, bloß aber x^2 und x jeweils von b abhängen (oder andersrum). In den bisherigen Beispielen waren die gesuchten Parameter vor x^2 und x unterschiedlich.

Sprich : Hier bx^2 und bx
Ansonsten: ax^2 und bx

19.08.2010, 23:35

mYthos

Auf diesen Beitrag antworten »

RE: Methode der kleinsten Fehlerquadrate
Die Parameter bei $\begin{eqnarray*} x \end{eqnarray*}$ und $\begin{eqnarray*} x^2 \end{eqnarray*}$ können im Ansatz durchaus einmal auch gleich sein, warum denn nicht?

Ich vermeine allerdings in deinem Ansatz Fehler zu sehen:

Erstens einen Schreibfehler, die partielle Ableitung in der zweiten Zeile muss nach b gehen, also soll dort $\begin{eqnarray*} \partial b \end{eqnarray*}$ stehen.
Zweitens:

Zitat:

Original von Ein Fragensteller
...
Und das umformuliert:
...

$\begin{eqnarray*} a \sum\limits_{i=1}^n x_i(x_i-1) + b \sum\limits_{i=1}^n (x_i(x_i-1))^2 = \sum\limits_{i=1}^n (y_i *x_i(x_i-1)) \end{eqnarray*}$
...

Da fehlt ein zweites Mal der Faktor $\begin{eqnarray*} x_i \end{eqnarray*}$ , man muss ja mit $\begin{eqnarray*} x_i(x_i-1) \end{eqnarray*}$ multiplizieren, richtig müsste sein

$\begin{eqnarray*} a \sum\limits_{i=1}^n x_i(x_i-1) + b \sum\limits_{i=1}^n (x_i^2(x_i-1))^2 = \sum\limits_{i=1}^n (y_i *x_i(x_i-1)) \end{eqnarray*}$

Kannst du mal deine Messwerte bekanntgeben? Womit (mit welchem Programm) rechnest du die Regression? Ich verwende dazu EXCEL, damit kann dies mal einer Prüfung unterzogen werden ...

mY+

20.08.2010, 00:45

Ein Fragensteller

Auf diesen Beitrag antworten »

Danke erstmal für die Antworten.

Ja ich finde es nicht verwunderlich DAS die angesprochenen Parameter gleich sind. Nur die Lösung der Aufgabe verwirrt mich.

Ich kann nicht nachvollziehen warum da ein x_i fehlen sollte. Das Quadrat welches an dem Ausdruck steht bezieht sich ja auf den gesamten Ausdruck x_i(x_i - 1). Oder steht ich auf den Schlauch.

Und Danke für den Hinweis auf den Schreibfehler.

Die Messwerte:

x 0 1 3 4
y 10 10 16 19

20.08.2010, 02:12

mYthos

Auf diesen Beitrag antworten »

RE: Methode der kleinsten Fehlerquadrate

Zitat:

Original von Ein Fragensteller
...
$\begin{eqnarray*} \frac{dS}{db} = 2 \sum\limits_{i=1}^n (([a + b*x_i(x_i-1)] - y_i) * x_i(x_i-1) ) = 0 \end{eqnarray*}$

(mY+): da in db berichtigt.

Und das umformuliert:
...

$\begin{eqnarray*} a \sum\limits_{i=1}^n x_i(x_i-1) + b \sum\limits_{i=1}^n (x_i(x_i-1))^2 = \sum\limits_{i=1}^n (y_i *x_i(x_i-1)) \end{eqnarray*}$

Jetzt ist klar, dass dies tatsächlich doch stimmt, denn das $\begin{eqnarray*} x_i (x_i - 1) \end{eqnarray*}$ steht ja in einer Klammer zum Quadrat. Das habe ich vorhin falsch gesehen. Sorry!

Dennoch ist es verständlich, dass du auf diesem Wege zu keinem graphisch vernünftigen Ergebnis kommst. Dies liegt nicht an einem Rechenfehler, denn der Ansatz ist an sich richtig, sondern an der Tatsache, dass die Messwerte für eine Kurve zweiter Ordnung nicht passend sind. Du musst allerdings schon auf ein Ergebnis kommen, wenn auch auf ein ziemlich schlechtes (Bestimmtheitsmaß unter 0,1!).

[attach]15782[/attach]

Deine Messwerte können also ad hoc durch ein Polynom 2. Grades (schwarze Kurve) nur sehr unzureichend nachgebildet werden. Mit nur zwei verschiedenen Parametern dürfte sich dies noch weiter verschlechtern, so wird es also kaum zufriedenstellend sein können.

Das Polynom
$\begin{eqnarray*} y = -1,0833x^3 + 5,3333x^2 - 4,25x + 10 \ \text{bzw.} \ y = -\frac{13}{12}x^3 + \frac{16} 3 x^2 - \frac{17} 4 x + 10 \end{eqnarray*}$
hingegen trifft alle 4 Punkte haargenau, Bestimmtheitsmaß bzw. KORREL sind gleich 1.

Du solltest daher die Angabe nochmals dahingehend überprüfen. Wo genau hat es nun die Probleme gegeben? Wie bzw. womit hast du gerechnet?
___________________

Gegebenenfalls werde ich die Tabelle morgen dennoch mal mit deinen Vorgaben in Excel durchspielen, soferne mir die Zeit bleibt.

mY+

20.08.2010, 14:19

mYthos

Auf diesen Beitrag antworten »

.

Wegen eines Excel-Fehlers musste dieser Beitrag entfernt werden.
Die Berichtigung erfolgt, sobald der Fragesteller (noch) Interesse zeigt.

mY+

21.08.2010, 14:10

Ein Fragensteller

Auf diesen Beitrag antworten »

Vielen Dank für die Antwort, und die dir gemachte Mühe.

Du hast mir schon sehr geholfen. Danke.

Gott

mfg Ein Fragensteller.

21.08.2010, 18:51

mYthos

Auf diesen Beitrag antworten »

Wie schlecht die Messwerte durch die vorgegebene Funktion nachgebildet werden können, sieht man an der Grafik.

[attach]15796[/attach]

Zunächst wurde einmal nach den vorangegangenen Ableitungen die Regressfunktion manuell ermittelt. Der Solver von EXCEL berechnet dieselbe Kurve.

Ein signifikant besseres Resultat wird mit der Regressfunktion

$\begin{eqnarray*} f(x) = ax + bx^2 \end{eqnarray*}$

erzielt. Verzichtet man auf den ersten Messwert, so wird der Korrel-Faktor nahezu 1.

mY+

Neue Frage »

Antworten »

Methode der kleinsten Fehlerquadrate

Verwandte Themen