Bayes-Statistik Notation

06.09.2021, 09:22

haro21

Bayes-Statistik Notation

Hallo alle zusammen, ich verstehe die Bayessche Notation nicht so ganz. Beispiel:

$\begin{eqnarray*} w \end{eqnarray*}$ ist ein unbekannter Parameter und wird als eine Zufallsgröße modelliert (ungewohnt für mich, da normalerweise für Zufallsgrößen Großbuchstaben verwendet werden). Man schreibt für die Dichtefunktion von $\begin{eqnarray*} w \end{eqnarray*}$ :

$\begin{eqnarray*} p(w) \end{eqnarray*}$ ,

was ist hier nun was? Normalerweise kenne ich die Schreibweise einer Dichtefunktion so:

$\begin{eqnarray*} f_{X}(x) \end{eqnarray*}$ , X bezeichnet die Zufallsvariable und x den Wert dieser Zufallsvariable.

Dann wird für die bedingte Verteilung folgendes geschrieben

$\begin{eqnarray*} p(w| X,y) \end{eqnarray*}$ ,

wobei X eine Matrix ist mit den beobachteten Daten und y ist ein Vektor auch mit beobachteten Daten.

Das bedeutet X und y sind keine Zufallsvariablen, sind das dann Stichproben? Oder wie soll ich das Interpretieren?

? $\begin{eqnarray*} p(w| X,y) \end{eqnarray*}$ ist die Dichte der Verteilung w gegeben X,y?

Quelle: http://www.gaussianprocess.org/gpml/chapters/RW2.pdf

06.09.2021, 10:24

HAL 9000

Auf diesen Beitrag antworten »

RE: Bayes-Statistik Notation
Ja, der Mensch ist faul, und wählt verkürzte Bezeichnungen, wenn sowieso "klar" ist was gemeint ist.

Das Problem ist, dass für jemanden, der in die Materie einsteigt, das eben alles andere als klar ist. Da hat man mühsam gelernt, dass ordentliche Bezeichnungen und Konventionen (Großbuchstaben für Zufallsgrößen, Kleinbuchstaben für reelle Werte) die Sachverhalte klarer machen, und dann wird alles über den Haufen geworfen - da kann man schon verunsichert sein.

Zum Thema:

Tatsächlich würde man mit einer "ordentlichen" Terminologie den unbekannten Parameter als Zufallsgröße $\begin{eqnarray*} W \end{eqnarray*}$ ansehen, dessen Verteilungsfunktion ist $\begin{eqnarray*} F_W(w) = P(W\leq w) \end{eqnarray*}$ , welche im Fall eines stetig verteilten $\begin{eqnarray*} W \end{eqnarray*}$ dann auch durch die Dichte $\begin{eqnarray*} f_W(w) \end{eqnarray*}$ beschrieben werden. Nun, hier ist dann einfach $\begin{eqnarray*} p(w)=f_W(w) \end{eqnarray*}$ .

Im vorliegenden Fall wird nun ein lineares Modell $\begin{eqnarray*} Y = \mathbf{X}^TW + \varepsilon = W^T\mathbf{X} + \varepsilon \end{eqnarray*}$ mit normalverteilten Fehler $\begin{eqnarray*} \varepsilon\sim\mathcal{N}\left(0,\sigma^2\right) \end{eqnarray*}$ betrachtet.

Dafür kann man eine bedingte Verteilungsfunktion $\begin{eqnarray*} F_{Y\mid \mathbf{X},W}(y,X,w) = P(Y\leq y\mid \mathbf{X}=X,W=w) \end{eqnarray*}$ und zugehörige Dichte $\begin{eqnarray*} f_{Y\mid \mathbf{X},W}(y,X,w) \end{eqnarray*}$ betrachten. Die Bayesianer schreiben auch hier kurz $\begin{eqnarray*} p(y\mid X,w) \end{eqnarray*}$ , obwohl dieses $\begin{eqnarray*} p \end{eqnarray*}$ eine völlig andere (!) Funktion ist als die beim obigen $\begin{eqnarray*} p(w) \end{eqnarray*}$ . Und um die Krone aufzusetzen, die im weiteren Verlauf dann ebenfalls auftauchende a-posteriori-Dichte $\begin{eqnarray*} p(w\mid X,y) \end{eqnarray*}$ meint in Wahrheit die Dichte $\begin{eqnarray*} f_{W\mid \mathbf{X},Y}(w,X,y) \end{eqnarray*}$ zur Verteilungsfunktion $\begin{eqnarray*} F_{W\mid \mathbf{X},Y}(w,X,y) = P(W\leq w\mid \mathbf{X}=X,Y=y) \end{eqnarray*}$ . D.h., dreimal Symbol $\begin{eqnarray*} p \end{eqnarray*}$ , aber in unterschiedlicher Bedeutung. Bei dieser Symbolik ist es also essentiell, aus den Argumentnamen zu schließen, welches der drei $\begin{eqnarray*} p \end{eqnarray*}$ also gerade da gemeint ist - widerspricht tatsächlich der sonst üblichen Philosophie zur Verwendung von Funktionssymbolen, ist hier aber eben der Schreibfaulheit geschuldet.

Zu beachten ist noch: Obwohl Großbuchstabe $\begin{eqnarray*} X \end{eqnarray*}$ gewählt wurde, ist damit hier keine Zufallsgröße gemeint, sondern ein reeller Vektor, die zugehörige Zufallsgröße habe ich jetzt hier zur Unterscheidung mit $\begin{eqnarray*} \mathbf{X} \end{eqnarray*}$ (Fettdruck) gekennzeichnet - hoffe, das kann man beim Lesen unterscheiden.

Ich hoffe, ich habe etwas mehr Klarheit in die Symbolik der Bayesianer gebracht - wenn nicht, dann entschuldige ich mich schon mal prophylaktisch für die jetzt womöglich noch größere Verwirrung. smile

06.09.2021, 10:52

haro21

Auf diesen Beitrag antworten »

RE: Bayes-Statistik Notation
Hallo Hal und danke für die Antwort.

Die Antwort hat mir schon geholfen, allerdings frage ich mich, weshalb die $\begin{eqnarray*} p \end{eqnarray*}$ drei unterschiedliche Bedeutungen haben.

Ich habe jetzt die ganze Zeit gedacht, dass man mit dem Buchstaben $\begin{eqnarray*} p \end{eqnarray*}$ die Dichtefunktion einer Zufallsvariablen bezeichnet.

- $\begin{eqnarray*} p(W) \end{eqnarray*}$ ist die Dichtefunktion von der Zufallsvariable $\begin{eqnarray*} W \end{eqnarray*}$

- $\begin{eqnarray*} p(y | X,w) \end{eqnarray*}$ ist die Dichtefunktion von der bedingten Zufallsvariable $\begin{eqnarray*} Y | X, W \end{eqnarray*}$

- p(w | X, y) ist die Dichtefunktion von der bedingten Zufallsvariable $\begin{eqnarray*} W | X, Y \end{eqnarray*}$

Ich sehe noch nicht ganz, wie sich diese 3 $\begin{eqnarray*} p's \end{eqnarray*}$ unterscheiden. Könntest du mir dabei helfen, dass zu verstehen?

Du schreibst, dass $\begin{eqnarray*} X \end{eqnarray*}$ ein reeller Vektor ist, ist das wirklich immer so? In der Quelle, welche ich im ersten Beitrag verlinkt habe, ist $\begin{eqnarray*} X \end{eqnarray*}$ eine Matrix. Man nennt die Matrix auch Designmatrix oder auch Datenmatrix.
Bsp: Angenommen man hat zwei Beobachtungen in jeweils zwei Experimente, sagen wir im ersten Expeirment $\begin{eqnarray*} 0.5, 0.1 \end{eqnarray*}$ und im zweiten $\begin{eqnarray*} 0.1, 0.9 \end{eqnarray*}$ , dann ist die DesignMatrix

$\begin{eqnarray*} X=\begin{pmatrix} 0.5 & 0.1 & \\ 0.1 & 0.9 \end{pmatrix} \end{eqnarray*}$ bzw. wenn man bei $\begin{eqnarray*} W^{\top}X \end{eqnarray*}$ noch eine Konstante berücksichtigen will, dann

$\begin{eqnarray*} X=\begin{pmatrix} 1& 0.5 & 0.1 & \\ 1& 0.1 & 0.9 \end{pmatrix} \end{eqnarray*}$ .

Die Frage ist, wie kann nun eine Zufallsgröße eine Matrix als Realisierung haben? verwirrt

06.09.2021, 11:10

HAL 9000

Auf diesen Beitrag antworten »

RE: Bayes-Statistik Notation

Zitat:

Original von haro21
Du schreibst, dass $\begin{eqnarray*} X \end{eqnarray*}$ ein reeller Vektor ist, ist das wirklich immer so? In der Quelle, welche ich im ersten Beitrag verlinkt habe, ist $\begin{eqnarray*} X \end{eqnarray*}$ eine Matrix.

Im Modell ist $\begin{eqnarray*} \mathbf{X} \end{eqnarray*}$ ein Zufallsvektor, und entsprechend $\begin{eqnarray*} X \end{eqnarray*}$ ein reeller Vektor, eine Realisierung von $\begin{eqnarray*} \mathbf{X} \end{eqnarray*}$ .

Wovon du redest ist, wenn eine ganze Stichprobe von solchen Vektoren (d.h. dann mehrere Realisierungen) zu einer Matrix zusammengefasst werden - das ist inhaltlich was ANDERES. Wenn man das auch wieder nur als $\begin{eqnarray*} X \end{eqnarray*}$ bezeichnet, ist das eine weitere Symbolkonflikt-Baustelle. unglücklich

06.09.2021, 11:56

haro21

Auf diesen Beitrag antworten »

RE: Bayes-Statistik Notation
Ah okay, jetzt hat es klick gemacht. Das sind so viele Buchstaben, dass mir die Buchstaben ausgehen. Big Laugh

Kurze Frage noch zu einer Notation:

Man schreibt

$\begin{eqnarray*} f(x)= w_{0}+w_{1}x_{1}+...+w_{n}x_{n} \end{eqnarray*}$ , wobei

$\begin{eqnarray*} w=(w_{0},...,w_{n})^{\top} \end{eqnarray*}$ eine Realisierung vom Zufallsvektor
$\begin{eqnarray*} W=(W_{0},...,W_{n})^{\top} \end{eqnarray*}$ ist, und $\begin{eqnarray*} x=(1,x_{1},...,x_{n}) ^{\top} \end{eqnarray*}$ eine Realisierung vom Zufallsvektor $\begin{eqnarray*} X=(1,X_{1},...,X_{n}) \end{eqnarray*}$ ist. Man schreibt auch kurz $\begin{eqnarray*} f(x)=w^{\top}x \end{eqnarray*}$ .

So meine Frage ist nun:

Du hast statt $\begin{eqnarray*} f(x)=w^{\top}x \end{eqnarray*}$ die Zufallsgrößen hingeschrieben, also

$\begin{eqnarray*} f(X)=W^{\top}X \end{eqnarray*}$ ? Darf man das einfach so machen und meint man dann auch das selbe? Oder darf man eine der beiden Notationen nicht verwenden? verwirrt

06.09.2021, 12:55

HAL 9000

Auf diesen Beitrag antworten »

Wenn du genau hinschaust, habe ich nicht $\begin{eqnarray*} f(X) \end{eqnarray*}$ oder $\begin{eqnarray*} f(x) \end{eqnarray*}$ geschrieben, nur du. Die $\begin{eqnarray*} f \end{eqnarray*}$ mit Indizes, die ich oben genutzt habe, waren nur Dichtebezeichnungen, was ganz anderes.

06.09.2021, 13:16

haro21

Auf diesen Beitrag antworten »

Es geht mir um das lineare Modell. Du schreibst

$\begin{eqnarray*} Y=W^{\top}X+\epsilon \end{eqnarray*}$ , und $\begin{eqnarray*} Y,W,X , \epsilon \end{eqnarray*}$ sind Zufallsgrößen, aber in der Literatur wird meistens

$\begin{eqnarray*} y=w^{\top}x+\epsilon \end{eqnarray*}$ geschrieben und $\begin{eqnarray*} w \end{eqnarray*}$ wird als eine Zufallsvariable modelliert, y ist der beobachtete Zielwert und x sind die beobachteten Input Werte. $\begin{eqnarray*} \epsilon \end{eqnarray*}$ ist wie bei dir norrmalverteilt. Steht zumindest hier http://www.gaussianprocess.org/gpml/chapters/RW2.pdf , was ist hier nun richtig?

Ist das beides dasselbe? Diese komische Notation von den Bayesianer verwirrt mich extrem.

06.09.2021, 17:29

haro21

Auf diesen Beitrag antworten »

Könntest du bitte nur kurz antworten? Lasse dich dann auch in Ruhe versprochen. Hilfe

06.09.2021, 18:05

HAL 9000

Auf diesen Beitrag antworten »

Meine Ansicht habe ich oben dargelegt. Ich behaupte nicht, im Besitz der absoluten Wahrheit über Symbolverwendungen zu sein, deswegen lasse ich mich nicht in deinen Strudel des immer weiter ins Klein-Klein driftenden Nachfragen ein:

Ich les doch jetzt nicht dein pdf durch, um für jede Formel zu ergründen, ob das $\begin{eqnarray*} w \end{eqnarray*}$ dort ein fester Vektor ist, ein zufälliger Vektor, oder aber eben Reealisierung eines Zufallsvektors $\begin{eqnarray*} W \end{eqnarray*}$ . Das musst du selbst aus dem Kontext rausfinden - die Formel allein gibt das nicht her.

06.09.2021, 20:38

haro21

Auf diesen Beitrag antworten »

Das kann ich natürlich verstehen. Ich danke dir für deine Beiträge, die haben mir geholfen. Freude

Hast du vllt. ein Tipp für mich, wie ich bei einer Ausarbeitung präzise bleibe, was den mathematischen Teil angeht? verwirrt

Neue Frage »

Antworten »

Bayes-Statistik Notation

Verwandte Themen