Anwendung "Kleinste Quadrate" (Regressionsgerade)

29.06.2005, 19:41

jns

Anwendung "Kleinste Quadrate" (Regressionsgerade)

Hallo allerseits!

Ich habe folgenden Ausdruck, den ich in Bezug auf $\begin{eqnarray*} s \end{eqnarray*}$ minimieren muss:

$\begin{eqnarray*} \min_{s} \sum^{n}_{k=0}\left( \mid g(k) \mid^2 - \mid f(k) \mid^2 e^{-h(k)^2 s} \right)^2 \end{eqnarray*}$

Ein Problem der "kleinsten Quadrate" also. Ich dachte zunächst, dass ich das Problem mittels numerischer Verfahren angehen müsse, fand dann aber doch eine Möglichkeit den Ausdruck so umzuformen, dass ich $\begin{eqnarray*} s \end{eqnarray*}$ durch einen geschlossenen Ausdruck berechnen kann. Nur erhalte ich falsche Resultate. Seht ihr einen Fehler in den folgenden Umformungsschritten?

Wenn $\begin{eqnarray*} \mid g(k) \mid^2 - \mid f(k) \mid^2 e^{-h(k)^2 s} = 0 \end{eqnarray*}$ sein soll, dann ist $\begin{eqnarray*} \mid g(k) \mid^2 = \mid f(k) \mid^2 e^{-h(k)^2 s} \end{eqnarray*}$ .

Logarithmus auf beiden Seiten ergibt $\begin{eqnarray*} \ln\left( \mid g(k) \mid^2 \right) = \ln\left( \mid f(k) \mid^2 \right) + (-h(k)^2 s) \end{eqnarray*}$ .

Division durch $\begin{eqnarray*} -h(k)^2 \end{eqnarray*}$ ergibt $\begin{eqnarray*} \frac{\ln\left( \mid g(k) \mid^2 \right)}{-h(k)^2} = \frac{\ln\left( \mid f(k) \mid^2 \right)}{-h(k)^2} + s \end{eqnarray*}$ . Dadurch entsteht eine lineare Funktion (Gerade) der Form $\begin{eqnarray*} y=ax+b \end{eqnarray*}$ wobei $\begin{eqnarray*} y = \frac{\ln\left( \mid g(k) \mid^2 \right)}{-h(k)^2} \end{eqnarray*}$ , $\begin{eqnarray*} a = 1 \end{eqnarray*}$ , $\begin{eqnarray*} x = \frac{\ln\left( \mid f(k) \mid^2 \right)}{-h(k)^2} \end{eqnarray*}$ und $\begin{eqnarray*} b = s \end{eqnarray*}$ .

Der "Achsenabschnitt" $\begin{eqnarray*} s \end{eqnarray*}$ kann nun durch den folgenden Ausdruck nach dem Gausschen Prinzip der kleinsten Quadrate berechnet werden:

$\begin{eqnarray*} \frac{\left( \sum x_k^2 \right) \left( y_k \right) - \left( \sum x_k \right) \left( \sum x_k y_k \right) }{n\sum x^2_k-\left( \sum x_k \right)^2} \end{eqnarray*}$

wobei mit $\begin{eqnarray*} \sum \end{eqnarray*}$ jeweils $\begin{eqnarray*} \sum^{n}_{k=0} \end{eqnarray*}$ gemeint ist.

Seht ihr irgend einen Fehler in diesen Überlegungen?

Danke für eine (rasche, sorry) Antwort.

Gruss
Jonas

29.06.2005, 20:47

Auf diesen Beitrag antworten »

Zitat:

Original von jns
Division durch $\begin{eqnarray*} -h(k)^2 \end{eqnarray*}$ ergibt $\begin{eqnarray*} \frac{\ln\left( \mid g(k) \mid^2 \right)}{-h(k)^2} = \frac{\ln\left( \mid f(k) \mid^2 \right)}{-h(k)^2} + s \end{eqnarray*}$ . Dadurch entsteht eine lineare Funktion (Gerade) der Form $\begin{eqnarray*} y=ax+b \end{eqnarray*}$ wobei $\begin{eqnarray*} y = \frac{\ln\left( \mid g(k) \mid^2 \right)}{-h(k)^2} \end{eqnarray*}$ , $\begin{eqnarray*} a = 1 \end{eqnarray*}$ , $\begin{eqnarray*} x = \frac{\ln\left( \mid f(k) \mid^2 \right)}{-h(k)^2} \end{eqnarray*}$ und $\begin{eqnarray*} b = s \end{eqnarray*}$ .

Tja, es ist $\begin{eqnarray*} a=1 \end{eqnarray*}$ und damit nicht mehr zu schätzen!!! Tatsächlich wäre das "Modell" $\begin{eqnarray*} z=s \end{eqnarray*}$ mit $\begin{eqnarray*} z_k=-\frac{\ln\left(|f(k)|^2\right)-\ln\left(|g(k)|^2\right)}{h(k)^2} \end{eqnarray*}$ wesentlich passender! Die zugehörige MKQ-Schätzung dazu ist dann

$\begin{eqnarray*} \hat{s}=\bar{z} = \frac{1}{n+1}\sum\limits_{k=0}^n~z_k = -\frac{1}{n+1}\sum\limits_{k=0}^n~\frac{\ln\left(|f(k)|^2\right)-\ln\left(|g(k)|^2\right)}{h(k)^2} \end{eqnarray*}$

Es sei aber betont, dass dies keine MKQ-Schätzung des Ursprungsproblems, d.h. keine Lösung von

$\begin{eqnarray*} \min\limits_{s} \sum_{k=0}^n\left(|g(k)|^2 - |f(k)|^2 e^{-h(k)^2 s} \right)^2 \end{eqnarray*}$

ist, und zwar wegen der nichtlinearen Umformung der einzelnen Bestandteile. Aber vielleicht ist es zumindest ein guter Startpunkt für das von dir erwähnte numerische Näherungsverfahren.

29.06.2005, 21:21

jns

Auf diesen Beitrag antworten »

Ja, $\begin{eqnarray*} a \end{eqnarray*}$ ist nicht mehr zu schätzen da bereits klar ist, dass es immer 1 sein wird.

Ich bin meine ganzen Rechnungen noch einmal durchgegangen und habe festgestellt, dass der Fehler nicht in der Minimierung liegt. Sie liefert so wie ich sie beschrieben habe korrekte Resultate. Ich habe dies mittels einiger Zahlenbeispiele nachweisen können. Wie angenommen schätzt sie auch $\begin{eqnarray*} a \end{eqnarray*}$ auf 1 (wobei dieser Wert in diesem Fall nicht interessiert).

Interessant ist aber auch deine Lösung, sie liefert ebenfalls einen korrekten Wert für $\begin{eqnarray*} s \end{eqnarray*}$ , allerdings nicht genau den gleichen. Ich nehme an, dass dies mit Rundungsfehlern zusammenhängt, die bei meiner Variante entstehen.

Neue Frage »

Antworten »

Anwendung "Kleinste Quadrate" (Regressionsgerade)

Verwandte Themen