Summe der Standardabweichungen

05.09.2017, 11:08

royalts

Summe der Standardabweichungen

Meine Frage:
Hi!

Ich habe glaub ein grundlegendes Verständnisproblem.
Habe gelesen, das die Varainz einer Summer gleich der Summer der Varianzen ist (für unkorellierte Zufallsvariablen)

Momentan lese ich: http://neuralnetworksanddeeplearning.com/chap3.html,
Abschnitt: Weight initialization

Jetz ist da eine Standardabweichung pro Gewicht von: $\begin{eqnarray*} \frac{1}{\sqrt{n_{in}}} \end{eqnarray*}$ voregschlagen. $\begin{eqnarray*} n_{in} = 501 \end{eqnarray*}$ . D.h. wenn ich die varianzen jetzt über 501 mal summiere, komme ich auf $\begin{eqnarray*} \frac{501}{\sqrt{501}} \end{eqnarray*}$ , was gekürzt $\begin{eqnarray*} \sqrt{501} \approx 22.38 \end{eqnarray*}$ ist. laut dem Buch soll aber $\begin{eqnarray*} sqrt{\frac{3}{2}} \approx 1,22 \end{eqnarray*}$ herauskommen...
Es ist eigentlich sooo simple aber ich komme einfach nicht auf die Lösung :/

Meine Ideen:
ideen siehe oben

05.09.2017, 11:54

HAL 9000

Auf diesen Beitrag antworten »

Für die, die sich nicht deinen ellenlangen verlinkten Text durchlesen wollen, solltest du vielleicht eine geraffte Darstellung aller für dein Verständnisproblem nötigen Informationen aufbereiten - das hier

Zitat:

Original von royalts
Jetz ist da eine Standardabweichung pro Gewicht von: $\begin{eqnarray*} \frac{1}{\sqrt{n_{in}}} \end{eqnarray*}$ voregschlagen. $\begin{eqnarray*} n_{in} = 501 \end{eqnarray*}$ . D.h. wenn ich die varianzen jetzt über 501 mal summiere

ist jedenfalls zu bruchstück- und lückenhaft um es zu verstehen, jedenfalls geht es mir so. unglücklich

05.09.2017, 12:12

royalts_

Auf diesen Beitrag antworten »

Kontext: Gegeben sind Variablen aus einer Normalverteilung mit dem Mittel $\begin{eqnarray*} \mu = 0 \end{eqnarray*}$ und der Varianz $\begin{eqnarray*} \sigma^2 = \frac {1}{\sqrt{n_{in}}} \end{eqnarray*}$ .
Jetzt wir für die Stichprobe die gesamte Standardabweichung berechnet, welche meines Erachtens $\begin{eqnarray*} \sqrt{501} \end{eqnarray*}$ sein müsste. Das ist aber offensichtlich falsch :/
Jetzt wäre Hilfe ganz Nett. Danke für den Hinweis

05.09.2017, 12:35

royalts

Auf diesen Beitrag antworten »

Nachtrag: Original ist die Standardabweichung von $\begin{eqnarray*} z = \sum^{1000}_{j=1} w_j*x_j+ b \end{eqnarray*}$ gesucht. $\begin{eqnarray*} x_j \end{eqnarray*}$ ist allerdings für 500 Neuronen 0 und für den Rest 1. d.h. $\begin{eqnarray*} z = \sum^{500}_{j=1} w_j*x_j + b \end{eqnarray*}$ . b kann als Konstante (1) betrachtet werden. $\begin{eqnarray*} w_j \end{eqnarray*}$ unterliegt der Normalverteilung mit der Standardabweichung $\begin{eqnarray*} \sigma^2 = \frac {1} {\sqrt{n_{in}}} \end{eqnarray*}$ .

Mehr Informationen habe ich nicht rauslesen können.

05.09.2017, 12:49

HAL 9000

Auf diesen Beitrag antworten »

Ich nehme an, du meinst $\begin{align*} \sigma=\frac{1}{\sqrt{n_{in}}} \end{align*}$ respektive $\begin{align*} \sigma^2=\frac{1}{n_{in}} \end{align*}$ ?

Wenn $\begin{align*} w_j\sim\mathcal{N}\left(0,\frac{1}{n_{in}}\right) \end{align*}$ unabhängig voneinander, und $\begin{align*} x_j=1 \end{align*}$ für $\begin{align*} j=1,\ldots,500 \end{align*}$ , dann folgt

$\begin{align*} \sum_{j=1}^{500} w_jx_j + b = \sum_{j=1}^{500} w_j + b \sim \mathcal{N}\left(b,\frac{500}{n_{in}}\right) = \mathcal{N}\left(b,\frac{500}{501}\right) \end{align*}$ ,

also weder $\begin{align*} \sqrt{501} \end{align*}$ noch $\begin{align*} \sqrt{\frac{3}{2}} \end{align*}$ für die Standardabweichung, sondern $\begin{align*} \sqrt{\frac{500}{501}} \end{align*}$ .

Ich schätze mal, das Problem liegt im nach wie vor fehlerhaften Verständnis des Textes. Du musst daher entweder warten, bis sich jemand bereit findet, deinen obigen Text diesbezüglich zu analysieren, oder dich selbst mal etwas gründlicher dahinterzuklemmen, und solche Fahrlässigkeiten wie oben (Verwechslung von Standardabweichung $\begin{align*} \sigma \end{align*}$ mit Varianz $\begin{align*} \sigma^2 \end{align*}$ ) dabei möglichst unterlassend - Konzentration!

05.09.2017, 13:00

royalts

Auf diesen Beitrag antworten »

mmm hab den text jetzt das 3. mal gelesen. Dann mache ich wahrsch. wirklich irgendwas dummes... :/
Danke für die Antwort smile

Neue Frage »

Antworten »

Summe der Standardabweichungen

Verwandte Themen