Least Square Methode

17.04.2008, 17:55

Johnson

Auf diesen Beitrag antworten »

Least Square Methode

hi, ich habe hier eine aufgabe für die ich die least square methode anwenden soll, scheitere aber schon am ansatz weil ich den teil in der vorlesung schon nicht verstanden hab.

habe hier n=3 Messepunkte
$\begin{eqnarray*} x_i \end{eqnarray*}$ 1, 4, und 6
$\begin{eqnarray*} y_i \end{eqnarray*}$ 2, 4, und 8

durch diese Punkte soll ich eine optimale Funktion vom Typ y=f(x)=px+q gelegt werden.

Wie bereits erwähnt, fehlt mir dazu der Ansatz, wie gehe ich an diese Aufgabe jetzt ran?

17.04.2008, 18:56

Leopold

Auf diesen Beitrag antworten »

Es hat schon etwas unfreiwillig Komisches, wenn eine Methode, die von Carl Friedrich Gauß, immerhin einem Mathematiker deutscher Muttersprache, stammt, und als "Methode der kleinsten Quadrate" in die Geschichte einging, auf einmal übers Englische als "Least Squares Method" zurückkommt, wohl weil sich wieder einmal jemand den Anschein von Weltläufigkeit und Bedeutsamkeit geben will. Wir Menschen deutscher Muttersprache sind schon ganz schön blemblem ...

17.04.2008, 19:10

Johnson

Auf diesen Beitrag antworten »

meine Schwirigkeiten sind leider nicht sprachlich bedingt, auch wenn das was ich machen soll kleinstes quadrat heist, weis ich nicht wie ich vorgehen muss.

die wikipedia einträge helfen mir dabei nicht weiter. ich brauch da wohl eine schrittweise hilfe.

will mir den keiner sagen was ich jetzt machen muss? ein link zu einem lesbaren beispiel ohne irgendwelche mathematischen verallgemeinerungen wäre evtl. auch hilfreich.

17.04.2008, 20:13

tigerbine

Auf diesen Beitrag antworten »

Wo er Recht hat,... (zu Leopold)

http://de.wikipedia.org/wiki/Methode_der..._Modellfunktion

Vielleicht kannst Du dann konkrete Fragen stellen. Wink

Wink

17.04.2008, 20:15

Mazze

Auf diesen Beitrag antworten »

Zitat:

durch diese Punkte soll ich eine optimale Funktion vom Typ y=f(x)=px+q gelegt werden.

Wie bereits erwähnt, fehlt mir dazu der Ansatz, wie gehe ich an diese Aufgabe jetzt ran?

Den Ansatz solltest Du kennen Der ist bei dieser Methode. Und wirklich schwer zu verstehen ist er auch nicht. Man hat eine Fehlerfunktion

$\begin{eqnarray*} e(x,y) = \frac{1}{2}(y - m(x))^2 \end{eqnarray*}$ wobei m(x) das Model beschreibt das wir denken die Daten am besten beschreibt, und y der Wert der Messung. Die ganzen Fehlerfunktion summiert man über die Anzahl der Datenpunkte die wir haben also

$\begin{eqnarray*} E = \sum_{i=1}^{n}e(x_i,y_i) \end{eqnarray*}$

Im Falle, das dass Model linear in den Parametern ist, kann man die optimale Lösung sogar sehr schön angeben. Was man aber macht, ist die Fehlerfunktion E bezüglich der Parameter des Models m zu optimieren. Das Model für Dein Problem hast Du uns auch schon genannt. Du musst es nur noch zusammenbauen.

17.04.2008, 20:21

Johnson

Auf diesen Beitrag antworten »

hier mal die beispiel aufgabe aus dem skript meines profs, da kann ich dann am besten erklären wo es dunkel wird.

http://i105.photobucket.com/albums/m239/souljumper/m1.jpg

Das aufstellen der Formel versteh ich nicht ganz, woher weis ich das ich tun muss was da gemacht wurde, woran war das zu erkenn, das man die gleichung so umstellen musste?

Anzeige

17.04.2008, 20:22

Johnson

Auf diesen Beitrag antworten »

http://i105.photobucket.com/albums/m239/souljumper/m2.jpg

Das ableiten der aufgestellten Funktion ist soweit klar

17.04.2008, 20:23

Johnson

Auf diesen Beitrag antworten »

http://i105.photobucket.com/albums/m239/souljumper/m3.jpg

Die auf diesem Screenshot im oberen teil dargestellten Funktionen auf der linken Seite entsprechen ja meinen Ableitungen, nur das hier das Summenzeichen reingezogen wurde. Wo ist das mal 2 hinverschwunden die ich bei der Ableitung bekommen hab?

Warum stelle ich die gleichung jetzt wieder nach y um?

17.04.2008, 20:47

Mazze

Auf diesen Beitrag antworten »

Zitat:

Das aufstellen der Formel versteh ich nicht ganz, woher weis ich das ich tun muss was da gemacht wurde, woran war das zu erkenn, das man die gleichung so umstellen musste?

Das ist bei der Methode Standard. Man zieht vom modellierten Wert den echten ab und erhällt einen Fehler den man quadriert. Nehmen wir an wir haben die Zeiten $\begin{eqnarray*} x_1,x_2,...,x_n \end{eqnarray*}$ und die zugeordneten Messwerte $\begin{eqnarray*} y_1(x_1),y_2(x_2),y_3(x_3) \end{eqnarray*}$ . Wir kennen den Wahren zusammenhang

$\begin{eqnarray*} f(x) = y \end{eqnarray*}$

nicht. Wir würden aber gerne ein Model anpassen so das es die Daten wenigstens in etwa beschreibt. Dieses Model sollte parametrisiert sein damit wir Optimieren können. Dazu brauchen wir ein Maß was uns sagt, ob unser Model schlecht, oder gut ist. Ein Maß ist das der quadratischen Fehler, man habe die Beobachtung y den Zeitpunkt x und das Model $\begin{eqnarray*} m(\alpha) \end{eqnarray*}$ wobei alpha unsere Parameter an das Model sind.

Der quadratische Fehler ist dann $\begin{eqnarray*} e(x,y) = (m(x) - y)^2 \end{eqnarray*}$ . Manchmal packt man noch 0.5 davor um das beim ableiten zu entfernen. Aber die Idee hierhinter ist das wir Fehler die nahe an den Messwerten liegen weniger bestrafen als Fehler die weit weg sind.
Da wir aber unseren Fehler nicht nur an einem Punkt optimieren wollen, sondern den gesammten Fehler, summiert man alle Fehler, man erhällt also

$\begin{eqnarray*} \sum_{i = 1}^{\text{Anzahl der Datenpunkte}}e(x_i,y_i) = \sum_{i = 1}^{\text{Anzahl der Datenpunkte}}(m(x_i) - y_i)^2 \end{eqnarray*}$

Im Fall des Professors haben wir ein lineares Model a + bx_i , wir wollen also eine Gerade durch die Punkte legen.

Zitat:

Warum stelle ich die gleichung jetzt wieder nach y um?

Tust Du das denn? Die Parameter a,b sollten bestimmt werden und wurden bestimmt. Das einzige was man noch hinschreiben kann ist das optimale Model bezüglich dem quadratischen Fehler.

17.04.2008, 21:12

Johnson

Auf diesen Beitrag antworten »

die 2 in der Ableitung verschwindet also, weil man hier in diesem fall das 0.5 noch davor gesetzt hat?!

um auf meine Aufgabe zurück zu kommen

n=3 Messepunkte
$\begin{eqnarray*} x_i \end{eqnarray*}$ 1, 4, und 6
$\begin{eqnarray*} y_i \end{eqnarray*}$ 2, 4, und 8

y = f(x) = px+q

Mein Fehler is dann für alle Punkte:
$\begin{eqnarray*} e(p,q) = \sum_{i=1}^3~(px_i+q-y_i)^2 \end{eqnarray*}$

abgeleitet:
$\begin{eqnarray*} e(p) = 2 \sum_{i=1}^3~(px_i+q-y_i)x_i \end{eqnarray*}$

$\begin{eqnarray*} e(q) = 2 \sum_{i=1}^3~(px_i+q-y_i) \end{eqnarray*}$

wenn man jetzt die multiplikation mit 0.5 berücksichtig(wie du erwähnt hast) und man das summenzeichen reinzieht hab ich dann

$\begin{eqnarray*} \sum_{i=1}^3~px_i+3q= \sum_{i=1}^3~y_i \end{eqnarray*}$

$\begin{eqnarray*} \sum_{i=1}^3~p(x_i)^2+\sum_{i=1}^3~qx_i = \sum_{i=1}^3~y_ix_i \end{eqnarray*}$

wenn ich jetzt die formel anwende die in dem kasten hier steht(halt für q bzw q, hab ich eine formel die mir für jedes i im zusammenhang mit der tabelle einen punkt liefert, der diesem "optimal" wert entspricht?!

http://i105.photobucket.com/albums/m239/souljumper/m3.jpg

wäre das so richtig?

17.04.2008, 21:36

Mazze

Auf diesen Beitrag antworten »

In Deinem Fall ist es ok, weil einerseits Du als auch der Prof. ein lineares Model benutzt haben. D.h für Dich Du hättest Dir quasi alles sparen können und direkt die Formeln vom Prof. benutzen.

Zitat:

wenn ich jetzt die formel anwende die in dem kasten hier steht(halt für q bzw q, hab ich eine formel die mir für jedes i im zusammenhang mit der tabelle einen punkt liefert, der diesem "optimal" wert entspricht?!

Du hast abgeleitet und Null gesetzt. Ansich müsste man noch überprüfen ob es sich überhaupt um ein Maximum handelt (hinreichende Bedingung). Aber wie oben schon gesagt, Du kannst die Formeln komplett übernehmen. Aber vorsicht, wenn Du mal ein anderes Model hast dann müssen die Formeln nicht mehr stimmen!

edit:

Wo kommt denn das Quadrat her in der zweiten Gleichung von Dir?

18.04.2008, 15:35

johnson

Auf diesen Beitrag antworten »

das quadrat entsteht bei der Ableitung

$\begin{eqnarray*} e(p,q) = \sum_{i=1}^3~(px_i+q-y_i)^2 \end{eqnarray*}$

abgeleitet:
$\begin{eqnarray*} e(p) = 2 \sum_{i=1}^3~(px_i+q-y_i)x_i \end{eqnarray*}$

$\begin{eqnarray*} e(q) = 2 \sum_{i=1}^3~(px_i+q-y_i) \end{eqnarray*}$

$\begin{eqnarray*} \sum_{i=1}^3~px_i+3q= \sum_{i=1}^3~y_i \end{eqnarray*}$

$\begin{eqnarray*} \sum_{i=1}^3~p(x_i)^2+\sum_{i=1}^3~qx_i = \sum_{i=1}^3~y_ix_i \end{eqnarray*}$

die ableitung von e(p) ergibt noch ein ein x_i mit dem die klammer mutlipliziert werden muss, deshalb

$\begin{eqnarray*} e(p) = 2 \sum_{i=1}^3~(px_i+q-y_i)x_i => \sum_{i=1}^3~p(x_i)^2+\sum_{i=1}^3~qx_i = \sum_{i=1}^3~y_ix_i \end{eqnarray*}$

aber irgendwas is da noch falsch oder ich machs falsch, da kommt nur schrott raus, dass kann nicht optimal sein was ich da erzeugt hab

q = $\begin{eqnarray*} \frac{3 \sum_{i=1}^3~x_iy_i - \sum_{i=1}^3~x_i \sum_{i=1}^3~y_i}{3 \sum_{i=1}^3~x_i^2 - (\sum_{i=1}^3~x_i)²} \end{eqnarray*}$

p = $\begin{eqnarray*} \frac{3 \sum_{i=1}^3~x_i² \cdot \sum_{i=1}^3~y_i- \sum_{i=1}^3~x_i \sum_{i=1}^3~x_iy_i}{3 \sum_{i=1}^3~x_i^2 - (\sum_{i=1}^3~x_i)²} \end{eqnarray*}$

hier muss ich dann ja jetzt meine Werte aus der Tabelle einsetzen

x_i = 1; 4; 6
y_i = 2;4; 8

wenn ich das mal für das erste zahlenpaar mache (1,2)

q = $\begin{eqnarray*} \frac{3 \cdot 1 \cdot 2 - 1 \cdot 2}{3 \cdot 1^2 - 1^2} = 2 \end{eqnarray*}$

p = $\begin{eqnarray*} \frac{1^2 \cdot 2 - 1 \cdot 1 \cdot 2}{3 \cdot 1^2 - 1^2} = 0 \end{eqnarray*}$

y = 0*1 + 2
y = 2

das scheint noch irgendwo logisch zu sein, das entspricht nämlich 1:1 dem wert aus der tabelle für y.

wenn ich das mal für das zweite zahlenpaar mache (4,4)

q = $\begin{eqnarray*} \frac{3 \cdot 4 \cdot 4 - 4 \cdot 4}{3 \cdot 4^2 - 4^2} = 0.821 \end{eqnarray*}$

p = $\begin{eqnarray*} \frac{4^2 \cdot 4 - 4 \cdot 4 \cdot 4}{3 \cdot 4^2 - 4^2} = 0 \end{eqnarray*}$

y = 0*1 + 0.821
y = 0.821

weicht von dem offensichtlichen optimalwert ab, y müsste über 4 liegen

wenn ich das mal für das zweite zahlenpaar mache (6,8)

q = $\begin{eqnarray*} \frac{3 \cdot 6 \cdot 6 - 6 \cdot 8}{3 \cdot 6^2 - 6^2} = 1.33333 \end{eqnarray*}$

p = $\begin{eqnarray*} \frac{6^2 \cdot 8 - 6 \cdot 6 \cdot 8}{3 \cdot 6^2 - 6^2} = 72 \end{eqnarray*}$

y = 72*6 + 1.3333
y = 433.333

ja das is dann totaler non-sense.

was mach ich falsch?

18.04.2008, 17:47

Mazze

Auf diesen Beitrag antworten »

Ah ja stimmt ja, aber Du solltest auf Deine Schreibweise achten. e(p),e(q) hab ich so nicht eingeführt. Was Du meinst ist

$\begin{eqnarray*} \frac{\partial E}{\partial p}, \frac{\partial E}{ \partial q} \end{eqnarray*}$

Ausserdem solltest Du auf Deine Indizes in den Formeln achten.

Zitat:

die ableitung von e(p) ergibt noch ein ein x_i mit dem die klammer mutlipliziert werden muss, deshalb

Wieso solltest Du nochmal ableiten?

Zitat:

was mach ich falsch?

Das Rechnen, Du schaust dir nicht jeden Punkt einzeln an, Du summierst über alle Punkte. Mal als Beispiel der erste Term Deiner q-Formel

$\begin{eqnarray*} \sum_{i=1}^{3}x_iy_i = 1*2 + 4*4 + 6*8 \end{eqnarray*}$ ich werde hier nicht die Ganze Formel ausrechnen, das ist Schulklasse niveau.

Übrigens, wenn Du Dir die Punkte anschaust , ist klar das es immer einen Fehler gibt, da man durch diese 3 Punkte keine Gerade mit Fehler 0 legen kann.

18.04.2008, 18:32

Johnson

Auf diesen Beitrag antworten »

achso....

$\begin{eqnarray*} x_i \end{eqnarray*}$ = 1, 4, und 6
$\begin{eqnarray*} y_i \end{eqnarray*}$ = 2, 4, und 8

q = $\begin{eqnarray*} \frac{3 \sum_{i=1}^3~x_iy_i - \sum_{i=1}^3~x_i \sum_{i=1}^3~y_i}{3 \sum_{i=1}^3~x_i^2 - (\sum_{i=1}^3~x_i)²} \end{eqnarray*}$

q = $\begin{eqnarray*} \frac{3 (2+ 16 + 48) - 11* 14}{3*53 - 121} \end{eqnarray*}$

q = $\begin{eqnarray*} \frac{44}{38} \end{eqnarray*}$

q = 1.157

p = $\begin{eqnarray*} \frac{ \sum_{i=1}^3~x_i² \cdot \sum_{i=1}^3~y_i- \sum_{i=1}^3~x_i \sum_{i=1}^3~x_iy_i}{3 \sum_{i=1}^3~x_i^2 - (\sum_{i=1}^3~x_i)²} \end{eqnarray*}$

p = $\begin{eqnarray*} \frac{ 53 * 14 - 11 * (2 + 16 + 48)}{3*53 - 121} \end{eqnarray*}$

p = $\begin{eqnarray*} \frac{ 742 - 726}{3*53 - 121} \end{eqnarray*}$

p = $\begin{eqnarray*} \frac{16}{38} \end{eqnarray*}$

p = 0.42

$\begin{eqnarray*} y_1 = 0.42 *1 + 1.157 = 1.577 \end{eqnarray*}$

$\begin{eqnarray*} y_2 = 0.42 * 4 + 1.157 = 2.837 \end{eqnarray*}$

$\begin{eqnarray*} y_3 = 0.42 * 6 + 1.157 = 3.677 \end{eqnarray*}$

für meine optimierter grade liegen die punkte dann bei
P1(1, 1.577)
P2(4, 2.837)
P3(6, 3.677)

so richtig?

18.04.2008, 19:40

Mazze

Auf diesen Beitrag antworten »

Zitat:

für meine optimierter grade liegen die punkte dann bei

Tun sie nicht, die Punkte sind immernoch (1,2),(4,4),(6,8). Allerdings hast Du jetzt eine Gerade gefunden wo der Fehler sehr klein ist. Für die Aufgabe ist einzig und allein relevant wie man die p,q findet. Im Übrigen dürfte Deine Gerade falsch sein denn das Bild dazu ist

[attach]8010[/attach]

die optimale Gerade dürfte aber in etwa so aussehen

[attach]8012[/attach]

Also wirst Du Dich wohl irgendwo verechnet haben. Aber ich hab jetzt nicht mehr soviel Zeit genau drauf zu schauen. Vielleicht morgen!

edit:

Du hast p und q vertauscht , das ist alles Augenzwinkern

Augenzwinkern

, die Gerade müsste y(x) = 1.1579*x + 0.42 heissen! Dann passt auch das Bild

edit2: Hier das Bild Deiner (richtigen) Gerade:

[attach]8013[/attach]

18.04.2008, 22:16

johnson

Auf diesen Beitrag antworten »

Vielen Dank, das war ja ein krampf.... smile

smile

was mir keine richtige ruhe lässt war die sache bei den ableitungen:

$\begin{eqnarray*} e(p) = 2 \sum_{i=1}^3~(px_i+q-y_i)x_i \end{eqnarray*}$

$\begin{eqnarray*} e(q) = 2 \sum_{i=1}^3~(px_i+q-y_i) \end{eqnarray*}$

die ableitungen ansich waren klar.

nun wird das ganze umgeformt auf die form y=...
Wird an dieser Stelle jetzt immer mit 0.5 multiplizert oder nur in diesem speziellen fall, hab nämlich auch relativ viel zum thema gelesen, und irgendwie verschwindet bei jedem beispiel was ich zur lineare-version des kQ gefunden hab, immer die 2 ohne das man es gesondert erwähnt hätte

$\begin{eqnarray*} \sum_{i=1}^3~px_i+3q= \sum_{i=1}^3~y_i \end{eqnarray*}$

$\begin{eqnarray*} \sum_{i=1}^3~p(x_i)^2+\sum_{i=1}^3~qx_i = \sum_{i=1}^3~y_ix_i \end{eqnarray*}$

20.04.2008, 12:11

johnson

Auf diesen Beitrag antworten »

die Frage besteht noch smile

smile

20.04.2008, 17:52

Mazze

Auf diesen Beitrag antworten »

Die Sache ist doch klar. Wenn $\begin{eqnarray*} x_0 \end{eqnarray*}$ ein Minimum/Maximum von f(x) ist, so ist $\begin{eqnarray*} x_0 \end{eqnarray*}$ auch Minimum/Maximum von $\begin{eqnarray*} a\cdot f(x), a > 0 \end{eqnarray*}$ . Insofern ist die 0.5 im Hinblick auf das Minimum völlig egal. Einzig bei negativen Faktoren ändern sich maxima zu minima und umgekehrt.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »