Fehler der Regressionskonstanten bei quadratischer/kubischer Funktion

25.05.2018, 15:55

AstroAndy

Fehler der Regressionskonstanten bei quadratischer/kubischer Funktion

Meine Frage:
Hallo zusammen,

ich komme nicht weiter bei der Errechnung der Regressionskonstanten bei quadratischen/kubischen Ausgleichsfunktionen. Für die lineare Regression finde ich diese an den verschiedensten Stellen, für alle Funktionen, die man linearisieren kann, stellen diese damit auch kein Problem dar.

Meine Ideen:
Mit der Herleitung gemäß den Residuen, also

S = \frac{1}{sigma^2} * \sum\limits_{i=1}^{n} (y - a*x^{2} - b * x - c)^{2}

$\begin{eqnarray*} S = \frac{1}{sigma^2} * \sum\limits_{i=1}^{n} (y - a*x^{2} - b * x - c)^{2} \end{eqnarray*}$

komme ich nicht weiter, zumal die Zahl der Terme (dabei meine ich die [x], [x^2], [xy] usw.) stark anwächst und ich evtl. nicht erkenne, was sich gegenseitig kürzt.

Daher meine Frage:

Sind jemand die Ausdrücke für die Fehler der Regressionskonstanten für eine quadratische bzw. kubische Funktion bekannt? Ich meine damit eine Form entsprechend der Ausdrücke bei der Ausgleichsgerade:

sigma_a = sigma * \sqrt{\frac{N}{N*\left[x^2\right] - \left[x\right]^2}}

$\begin{eqnarray*} sigma_a = sigma * \sqrt{\frac{N}{N*\left[x^2\right] - \left[x\right]^2}} \end{eqnarray*}$

Allerdings berechne ich die Konstanten für die quadratischen/kubischen Regressionsfunktionen ja eigentlich über Matrizen, da ein - im Vergleich zum linearen Ansatz - komplexeres LGS vorliegt. Dann aber weiß ich nicht mehr weiter. Ich nehme an, dass es einen anderen Weg gibt, die Fehler der Konstanten zu berechnen, und ich wäre froh, sofern mir dieser von einem Forumsmitglied gezeigt werden könnte.

Dabei sei gleich gesagt, dass meine Mathekenntnisse eher bescheiden sind. Ich kapiere vieles eher durch Beispiele als eine Herleitungsanweisung.

25.05.2018, 16:32

HAL 9000

Auf diesen Beitrag antworten »

Worum geht es: Um multiple lineare Regression

$\begin{eqnarray*} y_i = \beta^T x_i + \varepsilon_i \end{eqnarray*}$ für $\begin{eqnarray*} i=1,\ldots,n \end{eqnarray*}$ mit $\begin{eqnarray*} x_i,\beta\in\mathbb{R}^m \end{eqnarray*}$ ,

im Falle des Polynomansatzes von Grad $\begin{eqnarray*} d \end{eqnarray*}$ wählt man $\begin{eqnarray*} m=d+1 \end{eqnarray*}$ , hat dann die Matrizen/Vektoren

$\begin{eqnarray*} X = \begin{pmatrix} 1 & x_1 & x_1^2 & \cdots & x_1^d\\ 1 & x_2 & x_2^2 & \cdots & x_2^d\\ \vdots & \vdots & \vdots & \ddots & \vdots\\ 1 & x_n & x_n^2 & \cdots & x_n^d\end{pmatrix} \in \mathbb{R}^{n\times m},\qquad y = \begin{pmatrix} y_1\\ y_2\\ \vdots\\ y_n\end{pmatrix} \in \mathbb{R}^n \end{eqnarray*}$

und damit den MKQ-Schätzer $\begin{eqnarray*} \hat{\beta} = (X^TX)^{-1}X^Ty \end{eqnarray*}$ für die Koeffizienten des Polynoms.

Die zugehörigen Regressionsschätzwerte sind dann $\begin{eqnarray*} \hat{y} = X\hat{\beta} = Py \end{eqnarray*}$ , wenn man $\begin{eqnarray*} P:=X(X^TX)^{-1}X^T \end{eqnarray*}$ setzt, was eine symmetrische $\begin{eqnarray*} \mathbb{R}^{n\times n} \end{eqnarray*}$ -Projektionsmatrix ist, d.h. mit $\begin{eqnarray*} P^T=P \end{eqnarray*}$ sowie $\begin{eqnarray*} P^2=P \end{eqnarray*}$ .

Für die Residuen-Quadratsumme (ohne Vorfaktor) gilt dann

$\begin{eqnarray*} \|y-\hat{y}\|^2 = (y^T-\hat{y}^T)(y-\hat{y}) = y^T(I-P^T)(I-P)y = y^T(I-P)y \end{eqnarray*}$ .

Wenn du jetzt wirklich $\begin{eqnarray*} P= X(X^TX)^{-1}X^T \end{eqnarray*}$ hier explizit mit deinen Polynomsummen darstellen willst, dann wird das einigermaßen eklig: Hauptproblem ist natürlich die Inverse $\begin{eqnarray*} (X^TX)^{-1} \end{eqnarray*}$ , allein die Determinante $\begin{eqnarray*} \det(X^TX) \end{eqnarray*}$ dort im Nenner nimmt rasch exorbitante Züge an: Für $\begin{eqnarray*} d=2 \end{eqnarray*}$ noch dein bescheidenes $\begin{eqnarray*} N[x^2]-[x]^2 \end{eqnarray*}$ wird es für $\begin{eqnarray*} d=3 \end{eqnarray*}$ bereits $\begin{eqnarray*} N [x^2][x^4] + 2[x][x^2][x^3]-[x^2]^3-[x]^2[x^4]-N[x^3]^2 \end{eqnarray*}$ und für $\begin{eqnarray*} d=4 \end{eqnarray*}$ vollends unausschreiblich... Die Frage ist: Gibt es einen besonderen Grund, warum du dir ein solches explizites Ausschreiben antun willst, statt nur das LinAlg-Modul rechnen zu lassen? verwirrt

25.05.2018, 18:30

Astro-Andy

Auf diesen Beitrag antworten »

RE: Fehler der Regressionskonstanten bei quadratischer/kubischer Funktion
Hallo HAL9000,

danke für Deine Antwort, die ich mir allerdings erst noch im Detail anschauen möchte.

Es gibt nur einen Grund: ich habe ein Programm geschrieben, das mir die Darstellung von Daten erlaubt, und das eine Komponente "Ausgleichsfunktion" besitzt. Die Regressionskonstanten werden für alle gängigen Funktionen errechnet, die Fehler der Konstanten ebenfalls, bis eben auf die Fälle "quadratische/kubische" Funktion. Und um diese würde ich mein Programm gerne noch vervollständigen. Wobei ich nach dem Literatur- und Internetstudium, sowie jetzt erst recht nach Deiner Bestätigung Abstand von einem expliziten Ausschreiben nehmen werde.

Aber es vom LinAlg-Modul (wo finde ich dieses?) berechnen zu lassen, finde ich dann auch wieder unbefriedigend. Hoffe immer noch, dass ich die Fehler der Regressionskonstanten auch für die quadr./kubische Funktion von meinem Programm selbst errechnen lassen kann. Gibt es denn hierfür keinen anderen praktikablen Weg (z.B. mittels der Varianzen/Kovarianzen etc.)??

Willkommen im Matheboard!
Du bist hier zweimal angemeldet, der User AstroAndy wird daher demnächst gelöscht.
Viele Grüße
Steffen

25.05.2018, 18:44

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von Astro-Andy
Aber es vom LinAlg-Modul (wo finde ich dieses?)

Ich meinte damit einfach irgendeine Software zur Bewältigung derartiger Standardaufgaben der Linearen Algebra - ich hatte nix spezielles im Auge. Augenzwinkern

Neue Frage »

Antworten »

Fehler der Regressionskonstanten bei quadratischer/kubischer Funktion

Verwandte Themen