Optimale Parameterwahl (Normminimierungsaufgabe)

07.05.2018, 14:24

LuciaSera

Optimale Parameterwahl (Normminimierungsaufgabe)

Meine Aufgabe:

Gegeben seien n Punkte $\begin{eqnarray*} (p_1,q_1),...,(p_n,q_n) \end{eqnarray*}$ in der Ebene. Diese Punkte sollten auf einer Kurve der Form $\begin{eqnarray*} f(p)=a_0+a_1 p+\frac{a_2}{1+p^{2}} \end{eqnarray*}$ liegen.

Gesucht ist nun eine optimale Wahl der Parameter $\begin{eqnarray*} a_0,a_1,a_2 \end{eqnarray*}$ so, dass diese Punkte möglichst genau auf der entsprechenden Kurve liegen. Stelle dieses Problem als Normminimierungsaufgabe dar. Wie lauten konkret die Inputdaten A,b?

Wir haben zur Normminimierung in der VO nicht viel aufgeschrieben, außer dass
$\begin{eqnarray*} A \in\mathbb R^{mxn}, b\in\mathbb R^{m}, m>n \end{eqnarray*}$
$\begin{eqnarray*} f(x) = ||b-Ax||^{2} = b^T b-2b^T Ax+x^T A^T Ax \end{eqnarray*}$

Ich weiß, dass ich bei der Normminimierung im Endeffekt $\begin{eqnarray*} \min_{x\in\mathbb R^{n}} ||b-Ax||_2 \end{eqnarray*}$ suche. Und da ich f(x) kenne, kann ich mir auch ganz einfach den Gradienten davon berechnen, falls ich ihn brauche. Doch mir fehlt leider eine Idee wie ich diese Aufgabe anfangen soll. verwirrt

Hat jemand einen Tipp für mich oder könnte mich ein wenig in die richtige Richtung schupsen? Freue mich über jeden Hinweis. smile

07.05.2018, 16:09

HAL 9000

Auf diesen Beitrag antworten »

Einfach nur überlegt zuordnen:

$\begin{eqnarray*} A = \begin{pmatrix} 1 & p_1 & \frac{1}{1+p_1^2}\\ \vdots & \vdots & \vdots\\ 1 & p_n & \frac{1}{1+p_n^2}\end{pmatrix}, \qquad x = \begin{pmatrix} a_0\\ a_1\\ a_2\end{pmatrix}, \qquad b = \begin{pmatrix} q_1\\ \vdots \\ q_n\end{pmatrix} \end{eqnarray*}$

D.h., es ist hier $\begin{eqnarray*} n=3 \end{eqnarray*}$ die Dimension des Parameterraums, und Stichprobengröße $\begin{eqnarray*} m \end{eqnarray*}$ entspricht dem $\begin{eqnarray*} n \end{eqnarray*}$ in deiner Aufgabe (blöde Symbolkollision...).

07.05.2018, 17:11

LuciaSera

Auf diesen Beitrag antworten »

Achso. Diese Überlegung hatte ich auch, war jedoch viel zu fixiert darauf, dass $\begin{eqnarray*} a_0,a_1,a_2 \end{eqnarray*}$ zur Matrix A gehören...

Da ich das nun weiß, muss ich nun im Endeffekt mein x bestimmen, um die optimale Wahl meiner Parameter zu erlangen oder?

Ich habe zuerst geprüft, ob meine Matrix A vollen Rang hat und das hat sie laut Mathematica. In der VO haben wir dann aufgeschrieben, dass wenn A vollen Rang hat $\begin{eqnarray*} A^T Ax=A^T b \end{eqnarray*}$ eindeutig lösbar ist.
Daraus habe ich weiter gefolgert, dass $\begin{eqnarray*} x=(A^T A)^{-1} A^T b \end{eqnarray*}$ ist. Doch wenn ich das in Mathematica ausrechne, kommt eine elendst lange Matrix als Ergebnis raus.

Habe ich da vielleicht irgendwelche Zusammenhänge falsch verstanden?

07.05.2018, 18:06

LuciaSera

Auf diesen Beitrag antworten »

Also ich habe nun weiter überlegt:

$\begin{eqnarray*} x=(A^T A)^{-1}A^T b = A^{-1} b \end{eqnarray*}$

Daraus ergibt sich dann für x:

$\begin{eqnarray*} <br /> \begin{pmatrix} a_0 \\ a_1 \\ a_2 \end{pmatrix} = \begin{pmatrix} \frac{\text{p2}^2 \text{q2} \left(\text{p1}^3+\text{p1}-\text{p3} \left(\text{p3}^2+1\right)\right)+\text{p2}^3 \left(\left(\text{p3}^2+1\right) \text{q3}-\left(\text{p1}^2+1\right) \text{q1}\right)+\text{p2} \left(\left(\text{p3}^2+1\right) \text{q3}-\left(\text{p1}^2+1\right) \text{q1}\right)+\text{p3}^3 \left(\text{p1}^2 \text{q1}+\text{q1}-\text{q2}\right)-\text{p1} \left(\text{p1}^2+1\right) \text{p3}^2 \text{q3}+\text{p3} \left(\text{p1}^2 \text{q1}+\text{q1}-\text{q2}\right)+\text{p1} \left(\text{p1}^2+1\right) (\text{q2}-\text{q3})}{(\text{p1}-\text{p2}) (\text{p1}-\text{p3}) (\text{p2}-\text{p3}) (\text{p1} (\text{p2}+\text{p3})+\text{p2} \text{p3}-1)} \\ \frac{\text{p2}^2 \left(\text{p1}^2 \text{q1}-\text{p1}^2 \text{q2}+\text{p3}^2 \text{q2}-\text{p3}^2 \text{q3}+\text{q1}-\text{q3}\right)+\text{p3}^2 \left(-\left(\text{p1}^2+1\right) \text{q1}+\text{p1}^2 \text{q3}+\text{q2}\right)+\text{p1}^2 (\text{q3}-\text{q2})}{(\text{p1}-\text{p2}) (\text{p1}-\text{p3}) (\text{p2}-\text{p3}) (\text{p1} (\text{p2}+\text{p3})+\text{p2} \text{p3}-1)} \\ \frac{\left(\text{p1}^2+1\right) \left(\text{p2}^2+1\right) \left(\text{p3}^2+1\right) (\text{p1} (\text{q2}-\text{q3})+\text{p2} (\text{q3}-\text{q1})+\text{p3} (\text{q1}-\text{q2}))}{(\text{p1}-\text{p2}) (\text{p1}-\text{p3}) (\text{p3}-\text{p2}) (\text{p1} (\text{p2}+\text{p3})+\text{p2} \text{p3}-1)} \end{pmatrix} <br /> \end{eqnarray*}$

Das scheint mir doch etwas merkwürdig zu sein...

07.05.2018, 18:21

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von LuciaSera
Doch wenn ich das in Mathematica ausrechne, kommt eine elendst lange Matrix als Ergebnis raus.

Normalerweise macht man das ja auch erst mit den konkreten Stichprobenwerten. Ich weiß nicht, welcher Teufel dich reitet, dass als allgemeinen Ausdruck von $\begin{eqnarray*} p_1,q_1,\ldots,p_n,q_n \end{eqnarray*}$ schreiben zu wollen. Augenzwinkern

Außerdem scheinst du es nur für Stichprobenumfang 3 aufgeschrieben zu haben statt für allgemeines $\begin{eqnarray*} n \end{eqnarray*}$ . Wenn du jetzt auf meine Anmerkung "n=3" verweisen solltest: Denk daran, was ich über "Symbolkollision" gesagt habe.

07.05.2018, 18:25

LuciaSera

Auf diesen Beitrag antworten »

Aber ich habe ja keine Stichprobenwerte. Oder kann ich einfach irgendwelche wählen? verwirrt

In der Aufgabenstellung steht:
Gesucht ist nun eine optimale Wahl der Parameter $\begin{eqnarray*} a_0,a_1,a_2 \end{eqnarray*}$ so, dass diese Punkte möglichst genau auf der entsprechenden Kurve liegen.

Daher gehe ich davon aus, dass ich diese Werte ja irgendwie bekommen muss oder nicht?

Ich war der Meinung dass ich nur von n=3 ausgehen kann, da ja sonst die Dimension meiner Matrix nicht mit der der Vektoren übereinstimmt oder nicht?

07.05.2018, 18:28

HAL 9000

Auf diesen Beitrag antworten »

Herrje, ich erwähne den Baum extra, und du fährst trotzdem voll dagegen.

Also nochmal, es lässt sich dir wohl nicht anders begreiflich machen:

Zitat:

Original von LuciaSera (aber Symbolkollision beseitigt)
Wir haben zur Normminimierung in der VO nicht viel aufgeschrieben, außer dass
$\begin{eqnarray*} A \in\mathbb R^{m\times {\color{red}r}}, b\in\mathbb R^{m}, m>{\color{red}r} \end{eqnarray*}$
$\begin{eqnarray*} f(x) = ||b-Ax||^{2} = b^T b-2b^T Ax+x^T A^T Ax \end{eqnarray*}$

Ich weiß, dass ich bei der Normminimierung im Endeffekt $\begin{eqnarray*} \min_{x\in\mathbb R^{{\color{red}r}}} ||b-Ax||_2 \end{eqnarray*}$ suche.

In dem Sinne ist dann $\begin{eqnarray*} r=3 \end{eqnarray*}$ und $\begin{eqnarray*} m=n \end{eqnarray*}$ .

Ich würde allenfalls noch die 3x3-Matrix $\begin{eqnarray*} A^TA \end{eqnarray*}$ sowie der dreidimensionalen Vektor $\begin{eqnarray*} A^Tb \end{eqnarray*}$ als allgemeine Formel darstellen, aber dann ist auch gut.

07.05.2018, 18:47

LuciaSera

Auf diesen Beitrag antworten »

Ich Holzkopf! Hammer

Das macht es nun aber leider nicht gerade einfacher die optimalen Werte für x zu finden... verwirrt

Wenn $\begin{eqnarray*} r \neq n \end{eqnarray*}$ , dann habe ich keine quadratische Matrix mehr, somit kann sie auch nicht mehr invertierbar sein.

08.05.2018, 08:53

HAL 9000

Auf diesen Beitrag antworten »

Es ist nicht $\begin{eqnarray*} A \end{eqnarray*}$ zu invertieren, sondern $\begin{eqnarray*} A^TA \end{eqnarray*}$ , und das ist eine 3x3-Matrix. Augenzwinkern

Die Voraussetzung $\begin{eqnarray*} m\geq r \end{eqnarray*}$ (hier bedeutet das $\begin{eqnarray*} n\geq 3 \end{eqnarray*}$ ) ist notwendig für die Regularität (und damit die Invertierbarkeit) eben dieser Matrix.

Rechnen wir es mal konkret aus: Mit den oben angegebenen Matrizen bzw. Vektoren $\begin{eqnarray*} A,b \end{eqnarray*}$ gilt

$\begin{eqnarray*} A^TA = \begin{pmatrix} n & \sum\limits_{k=1}^n p_k & \sum\limits_{k=1}^n \frac{1}{1+p_k^2}\\ \sum\limits_{k=1}^n p_k & \sum\limits_{k=1}^n p_k^2 & \sum\limits_{k=1}^n \frac{p_k}{1+p_k^2}\\ \sum\limits_{k=1}^n \frac{1}{1+p_k^2} & \sum\limits_{k=1}^n \frac{p_k}{1+p_k^2} & \sum\limits_{k=1}^n \frac{1}{(1+p_k^2)^2} \end{pmatrix},\qquad A^Tb = \begin{pmatrix} \sum\limits_{k=1}^n q_k\\ \sum\limits_{k=1}^n p_kq_k\\ \sum\limits_{k=1}^n \frac{q_k}{1+p_k^2}\end{pmatrix} . \end{eqnarray*}$

Und Schätzung $\begin{eqnarray*} \hat{x} = \left(A^TA\right)^{-1} \left(A^Tb\right) \end{eqnarray*}$ würde ich wie gesagt einfach mal so stehen lassen, statt das in einer wahren Termorgie ausschreiben zu wollen. Augenzwinkern

Neue Frage »

Antworten »

Optimale Parameterwahl (Normminimierungsaufgabe)

Verwandte Themen