Residuum der linearen Regression

24.02.2014, 13:49

theniles

Residuum der linearen Regression

Moin.
Ich habe zwei Fragen.

Frage 1:
Beim aufstellen der Regressionsgeraden

$\begin{eqnarray*} y = \beta_{0} + \beta_1*X_i + u_i \end{eqnarray*}$

verstehe ich immer noch nicht genau, was mir der Fehlerterm $\begin{eqnarray*} u_i \end{eqnarray*}$ genau sagen soll. Also ich habe verstanden, dass dieser z.B. die bisher nicht in der Regressionsgeraden berücksichtigten Variablen enthält bzw. auch Messfehler. Aber gibt es beispielsweise eine graphische Veranschaulichung dieser Größe?

Frage 2:
Im Skript ist ständig die Rede davon, dass folgende Bedingung erfüllt sein sollte, damit OLS-Schätzer unverzerrt sind:

$\begin{eqnarray*} E(u|X=x) = 0 \end{eqnarray*}$

Verstehe ich das richtig, dass u einfach nur nicht abhängig vom X sein darf? Oder anders gefragt: Was würde mir ein Erwartungswert von u denn überhaupt sagen?

28.02.2014, 03:40

Venus²

Auf diesen Beitrag antworten »

RE: Residuum der linearen Regression

Zitat:

Original von theniles
$\begin{eqnarray*} y = \beta_{0} + \beta_1*x_i + u_i \end{eqnarray*}$
Aber gibt es beispielsweise eine graphische Veranschaulichung dieser Größe?

Ja. Die Regression besteht darin, die Koeffizienten $\begin{eqnarray*} \hat{\beta}_{0}, \hat{\beta}_1 \end{eqnarray*}$ so zu schätzen, dass sie die Residuenquadratsumme minimieren:

$\begin{eqnarray*} \min_{\beta_{0}, \beta_{1}} \sum\limits_{i=1}^n ( y_i - \beta_{0} - \beta_1 \cdot x_i)^{2} = \sum\limits_{i=1}^n ( y_i - \hat{\beta}_{0} - \hat{\beta}_1 \cdot x_i)^{2} =\sum\limits_{i=1}^n ( y_i - \hat{y}_{i})^{2} = \sum\limits_{i=1}^n \hat{u}_{i}^{2} \end{eqnarray*}$

Das heißt, du gewinnst aus der Regression Schätzer $\begin{eqnarray*} \hat{u}_i \end{eqnarray*}$ für $\begin{eqnarray*} u_i \end{eqnarray*}$ . Dabei versteht man streng genommen unter den Schätzern $\begin{eqnarray*} \hat{u}_i \end{eqnarray*}$ die Residuen und unter $\begin{eqnarray*} u_i \end{eqnarray*}$ die Fehler.
Wenn du die Regressionsgerade, die aus der Schätzung hervorgeht, zeichnest, also die Punkte $\begin{eqnarray*} (x_i, \hat{y}_i) \end{eqnarray*}$ , und die Punkte $\begin{eqnarray*} (x_i, y_i) \end{eqnarray*}$ und dann die Abstände zwischen $\begin{eqnarray*} y_i \end{eqnarray*}$ und $\begin{eqnarray*} \hat{y}_i \end{eqnarray*}$ einzeichnest, das heißt $\begin{eqnarray*} y_i - \hat{y}_{i} \end{eqnarray*}$ , sowie diese Abstände zu Quadraten ergänzt, dann erhälst du mit der Summe all dieser Quadrate graphisch die minimierte Residuenquadratsumme.

Zitat:

Original von theniles
$\begin{eqnarray*} E(u|X=x) = 0 \end{eqnarray*}$

Verstehe ich das richtig, dass u einfach nur nicht abhängig vom X sein darf? Oder anders gefragt: Was würde mir ein Erwartungswert von u denn überhaupt sagen?

Das heißt, dass unabhängig vom betrachteten x-Wert, also unabhängig von der erklärenden Variablen, oder auch einfach für alle x, der Fehler im Mittel den Wert Null annimmt.
Das kannst du dir so vorstellen, dass für ein bestimmtes x mehrere Male y(x) beobachtet wird und y(x) von dem Wert von y, den man allein durch x erklärt (= E(y|x)), dann im Mittel weder nach oben noch nach unten abweicht. Der nicht durch x erklärte Teil von y (=u) darf also erwartungsgemäß y weder vergrößern noch verkleinern, sodass x y durchschnittlich lokal wirklich erklärt.

Neue Frage »

Antworten »

Residuum der linearen Regression

Verwandte Themen