Methode der kleinsten Quadrate

25.07.2019, 09:39

AnnaM195

Methode der kleinsten Quadrate

Hallo,
ich betrachte unabhängige Zufallsgrößen $\begin{eqnarray*} X_1,...,X_n \end{eqnarray*}$ mit ihren Realisierungen. Deren Verteilung hängt von einem unbekannten Parameter a ab. Dies gilt auch für deren Erwartungswerte,also $\begin{eqnarray*} E(X_1)=\mu(a),..... \end{eqnarray*}$ . Die Funktionen $\begin{eqnarray*} \mu_i(a) \end{eqnarray*}$ sollen bekannt sein. D.h also, dass man egtl die Verteilung der einzelnen Erwartungswerte kennt??
Wenn man nun die Methode der kleinsten Quadrate anwenden will, muss man $\begin{eqnarray*} Q(a)= \sum_{i=1}^n(x_i-\mu_i(a)) \end{eqnarray*}$ minimieren. Dann gilt: $\begin{eqnarray*} Q'(a)= - 2 \mu'(a) \sum_{i=1}^n (x_i - \mu_i(a))=0 \end{eqnarray*}$
Wie löst man das genau. Die Frage ist: Kann nicht z.b $\begin{eqnarray*} \mu'(a) =0 \end{eqnarray*}$ sein?

25.07.2019, 10:21

Huggy

Auf diesen Beitrag antworten »

RE: Methode der kleinsten Quadrate

Zitat:

Original von AnnaM195
Wenn man nun die Methode der kleinsten Quadrate anwenden will, muss man $\begin{eqnarray*} Q(a)= \sum_{i=1}^n(x_i-\mu_i(a)) \end{eqnarray*}$ minimieren.

Ja. In der Summe hast du das Quadrat vergessen hinzuschreiben.

Zitat:

$\begin{eqnarray*} Q'(a)= - 2 \mu'(a) \sum_{i=1}^n (x_i - \mu_i(a))=0 \end{eqnarray*}$

Wie das? Woher kommt ein $\begin{eqnarray*} \mu (a) \end{eqnarray*}$ ohne Index? Richtig ist:

$\begin{eqnarray*} Q'(a)= - 2 \sum_{i=1}^n \mu'_i(a) (x_i - \mu_i(a)) \end{eqnarray*}$

25.07.2019, 10:47

AnnaM195

Auf diesen Beitrag antworten »

RE: Methode der kleinsten Quadrate
Achso. Woher weis ich dann, dass das $\begin{eqnarray*} \mu'_i(a) \ne 0 \end{eqnarray*}$ ist?

25.07.2019, 10:56

HAL 9000

Auf diesen Beitrag antworten »

Irgendwie wird es mal Zeit für folgende Grundsatzfrage: Du gehst wirklich von i.a. verschiedenen Verteilungen der $\begin{eqnarray*} X_i \end{eqnarray*}$ aus? D.h. definitiv nicht von einer mathematischen Stichprobe $\begin{eqnarray*} X_1,\ldots,X_n \end{eqnarray*}$ , bei der ja die $\begin{eqnarray*} X_i \end{eqnarray*}$ nicht nur unabhängig, sondern auch identisch verteilt sind? Bei letzterer würde das mit den $\begin{eqnarray*} \mu_i(a) \end{eqnarray*}$ keinen Sinn machen, dort hat man einheitlich $\begin{eqnarray*} \mu(a) \end{eqnarray*}$ als Erwartungswert aller $\begin{eqnarray*} X_i \end{eqnarray*}$ .

25.07.2019, 10:58

Huggy

Auf diesen Beitrag antworten »

RE: Methode der kleinsten Quadrate
Wenn, wie du sagst, die Funktionen $\begin{eqnarray*} \mu _i(a) \end{eqnarray*}$ bekannt sind, kannst du das für jedes $\begin{eqnarray*} i \end{eqnarray*}$ prüfen. Wozu das gut sein soll, erschließt sich mir nicht. Gesucht ist doch das $\begin{eqnarray*} a \end{eqnarray*}$ , bei dem die gesamte die Ableitung bildende Summe Null wird.

25.07.2019, 11:08

AnnaM195

Auf diesen Beitrag antworten »

RE: Methode der kleinsten Quadrate
Ich gehe erstmal von unahängigen $\begin{eqnarray*} X_i \end{eqnarray*}$ aus. Dann stelle ich die zu minimierende Funktion auf. Zur Vereinfachung nimmt man dann, dass die $\begin{eqnarray*} X_i \end{eqnarray*}$ auch gleich verteilt sind, damit das Minimum wsl einfacher bestimmen kann. Wie wäre das dann genau?

25.07.2019, 11:56

AnnaM195

Auf diesen Beitrag antworten »

RE: Methode der kleinsten Quadrate
Man hätte also bei identischer Verteilung:
Wenn man nun die Methode der kleinsten Quadrate anwenden will, muss man $\begin{eqnarray*} Q(a)= \sum_{i=1}^n(x_i-\mu_i(a)) \end{eqnarray*}$ minimieren. Dann gilt: $\begin{eqnarray*} Q'(a)= - 2 \mu'(a) \sum_{i=1}^n (x_i - \mu(a))=0 \end{eqnarray*}$
Also : $\begin{eqnarray*} \mu'(a)( \sum_{i=1}^n x_i -n \mu(a))= 0 \end{eqnarray*}$
Damit: $\begin{eqnarray*} \mu(a)= \bar{x} \end{eqnarray*}$ Der Schätzer entprechend mit dem großen X.
Warum dürfen die Zufallsvariablen nicht unanbhängig sein Hal?

25.07.2019, 11:59

HAL 9000

Auf diesen Beitrag antworten »

Zitat:

Original von AnnaM195
Warum dürfen die Zufallsvariablen nicht unanbhängig sein Hal?

Merkwürdige Ansprache - als hätte ich jemals dergleichen gesagt. unglücklich

Neue Frage »

Antworten »

Methode der kleinsten Quadrate

Verwandte Themen