Dichtefunktion bestimmen

Neue Frage »

29.07.2021, 09:46	haro21	Auf diesen Beitrag antworten »
Dichtefunktion bestimmen Hallo zusammen, sei $\begin{eqnarray} p(f_{}\|x_{},w) \end{eqnarray}$ die Dichte Funktion der Normalverteilung $\begin{eqnarray} \mathcal{N}( x_{}^{\top}w,\sigma_{n}^{2}) \end{eqnarray}$ . Weiter sei $\begin{eqnarray} p(w\|X,y) \end{eqnarray}$ , die Dichtefunktion der Normalverteilung $\begin{eqnarray} \mathcal{N}( \frac{1}{\sigma^{2}_{n}}A^{-1}Xy ,A^{-1}) \end{eqnarray}$ . Man sagt nun das die Faltung $\begin{eqnarray} \int p(f_{}\|x_{},w)p(w\|X,y)dw \end{eqnarray}$ auch normalverteilt ist mit $\begin{eqnarray} \mathcal{N}( \frac{1}{\sigma^{2}_{n}}x_{}^{\top}A^{-1}Xy ,x^{\top}_{}A^{-1}x_{}) \end{eqnarray}$ . Kann mir einer sagen, wie man darauf kommt bitte?
29.07.2021, 11:00	HAL 9000	Auf diesen Beitrag antworten »
Sicher, dass das Ergebnis stimmt? Ich hätte jetzt eher auf $\begin{eqnarray} \mathcal{N}\left(\frac{1}{\sigma_n^2}x_^TA^{-1}Xy ,x_^TA^{-1}x_ + \sigma_n^2\right) \end{eqnarray}$ orientiert: $\begin{eqnarray} \mathcal{N}\left(\frac{1}{\sigma_n^2}x_^TA^{-1}Xy ,x_^TA^{-1}x_\right) \end{eqnarray}$ ist doch bereits die Verteilung von $\begin{eqnarray} x_^TW \end{eqnarray}$ mit $\begin{eqnarray} W\sim \mathcal{N}\left(\frac{1}{\sigma_n^2}A^{-1}Xy ,A^{-1}\right) \end{eqnarray}$ , und da wird ja in der Faltung noch eine Störung $\begin{eqnarray} \mathcal{N}(0,\sigma_n^2) \end{eqnarray*}$ aufaddiert...
29.07.2021, 12:16	haro21	Auf diesen Beitrag antworten »
Ich habe in einer anderen Quelle mal nachgeschaut und du hast einfach Recht. Die Ursprüngliche Quelle war (siehe Bild1). Wie kommst du auf dieses Ergebnis? Kannst du mir bitte da weiterhelfen? Ich habe schon gestern den ganzen Tag da rum gemacht
29.07.2021, 12:52	HAL 9000	Auf diesen Beitrag antworten »
Rede ich so undeutlich? Ich habe doch gerade geschrieben, wie ich auf ein anderes Ergebnis komme. Das von dir nun im Scan wiederholte Ergebnis kann ich einfach nicht bestätigen.
29.07.2021, 13:07	haro21	Auf diesen Beitrag antworten »
Das Ergebnis im Scan sollst du ja auch nicht bestätigen. Ich habe das nur eingescannt, um dir das ursprüngliche Ergebnis, was ich ja in meinem ersten Beitrag gepostet hatte zu zeigen. Das Ergebnis ist nicht Korrekt, du hast Recht. Ich wollte nun wissen, wie du auf dein Ergebnis gekommen bist, denn das Ergebnis ist richtig, wie ich in einer anderen Quelle überprüft habe. PS: Tut mir leid, wenn ich so undeutlich schreibe.
29.07.2021, 13:13	HAL 9000	Auf diesen Beitrag antworten »
Nochmal: Dein Faltungsintegral entspricht der Dichtefunktion $\begin{eqnarray} q(f_) \end{eqnarray}$ einer Zufallsgröße $\begin{eqnarray} Y\sim\mathcal{N}\left(x_^TW,\sigma_n^2\right) \end{eqnarray}$ mit $\begin{eqnarray} W\sim \mathcal{N}\left(\frac{1}{\sigma_n^2}A^{-1}Xy ,A^{-1}\right) \end{eqnarray}$ , das kann man auch schreiben also $\begin{eqnarray} Y = x_^T W + U \end{eqnarray}$ mit $\begin{eqnarray} U\sim\mathcal{N}\left(0,\sigma_n^2\right) \end{eqnarray}$ Die lineare Transformation $\begin{eqnarray} x_^T W \end{eqnarray}$ besitzt die Verteilung $\begin{eqnarray} \mathcal{N}\left(\frac{1}{\sigma_n^2}x_^TA^{-1}Xy ,x_^TA^{-1}x_\right) \end{eqnarray}$ und zu der wird nun also das davon unabhängige $\begin{eqnarray} U \end{eqnarray*}$ addiert. Da die Summe zweier unabhängiger Normalverteilungen wieder normalverteilt ist, und zwar mit den Parametern "Summe Einzelerwartungswerte" und "Summe Einzelvarianzen", ergibt sich obige Verteilung.
Anzeige

29.07.2021, 13:27	haro21	Auf diesen Beitrag antworten »
Bitte jetzt nicht sauer werden oder so, aber wie kommst du auf $\begin{eqnarray} Y=x_{}^{\top}W+U \end{eqnarray*}$
29.07.2021, 14:22	HAL 9000	Auf diesen Beitrag antworten »
Ich hab einfach die lineare Verschiebung $\begin{eqnarray} x_^TW \end{eqnarray}$ aus $\begin{eqnarray} Y\sim\mathcal{N}\left(x_^TW,\sigma_n^2\right) \end{eqnarray}$ abgetrennt. Da dir dieser Zugang offensichtlich nicht behagt, dann setze doch stattdessen die Dichten ein und plage dich mit dem Integral ab.
29.07.2021, 15:40	haro21	Auf diesen Beitrag antworten »
Also erstmal danke für deine Geduld Ich finde deine Lösung sehr elegant, daher würde ich das auch gerne so machen. Ich versuche mal nun alles zusammenzufassen: Die Prädiktive Dichte $\begin{eqnarray} p(y_{new} \| x_{new} ,X,y) \end{eqnarray}$ ist gegeben durch $\begin{eqnarray} p(y_{new} \| x_{new} ,X,y) = \int_{}^{} \! p(y_{new}, w \| x_{new} ,X,y) \, dw = \int_{}^{} \! p(y_{new} \|w, x_{new} ,X,y) p( w \| x_{new} ,X,y) \end{eqnarray}$ Setzen wir vorraus, dass $\begin{eqnarray} y_{new} \end{eqnarray}$ unabhängig von $\begin{eqnarray} X,y \end{eqnarray}$ und $\begin{eqnarray} w \end{eqnarray}$ unabhängig von $\begin{eqnarray} x_{new} \end{eqnarray}$ ist gilt $\begin{eqnarray} \int_{}^{} \! p(y_{new} \|w, x_{new}) p( w \| X,y) \end{eqnarray}$ . Die beiden Dichten (Integranden) sind normalverteilt mit $\begin{eqnarray} y_{new} \|w, x_{new} \sim \mathcal{N}\left(x_{new}^{\top}w, \sigma^{2} \right) \end{eqnarray}$ und $\begin{eqnarray} w \|X, y \sim \mathcal{N}\left( \frac{1}{\sigma^2} A^{-1}Xy,A^{-1} \right) \end{eqnarray}$ Die Faltung von zwei normalverteilten Dichten ist wieder normalverteilt mit $\begin{eqnarray} y_{new} \|w, x_{new} = x_{new}^{\top}W+U \end{eqnarray}$ und $\begin{eqnarray} U \sim \mathcal{N}(0,\sigma_{n}^{2}) \end{eqnarray}$ Daraus folgt für die Gesamtdichte $\begin{eqnarray} \mathcal{N}\left( \frac{1}{\sigma^2}x_{new}^{\top} A^{-1}Xy,x_{new}^{\top}A^{-1} x_{new} \right) \end{eqnarray}$ Passt das alles so mathematisch gesehen?
29.07.2021, 16:07	HAL 9000	Auf diesen Beitrag antworten »
Passt nicht. Vielleicht sollte sich ein anderer drum kümmern, denn ich dringe ja mit meinen Gedanken zur Normalverteilungssumme (was dann auch die Varianzsumme zur Folge hat) irgendwie nicht durch.
29.07.2021, 16:23	haro21	Auf diesen Beitrag antworten »
Omg, ich habe das voll vergessen mitzuschreiben. Tut mir echt leid, ich meinte natürlich: Für die Gesamtdichte folgt $\begin{eqnarray} \mathcal{N}\left( \frac{1}{\sigma^2}x_{new}^{\top} A^{-1}Xy,x_{new}^{\top}A^{-1} x_{new} +\sigma^{2}_{n} \right) \end{eqnarray}$ Ich wusste das, ich habe das nur vergessen hinzuschreiben, ich schwöre bro. Bitte geh nicht, mir können nicht viele helfen bitte
30.07.2021, 09:21	haro21	Auf diesen Beitrag antworten »
Kann man mathematisch gesehen auch so vorgehen?: Sei $\begin{eqnarray} f_{}:=f(x_{})=x_{}^{\top}w \end{eqnarray}$ , der unbekannte Funktionswert an der Teststelle $\begin{eqnarray} x_{} \end{eqnarray}$ . Für die Prädiktive Verteilung gilt dann: $\begin{eqnarray} p(f_{}\| x_{},X,y)=p(x_{}^{\top}w\|x_{},X,y) \end{eqnarray}$ , dann können wir $\begin{eqnarray} x_{}^{\top} \end{eqnarray}$ rausziehen, da es konstant ist und es gilt $\begin{eqnarray} p(x_{}^{\top}w\|x_{},X,y)=x_{}^{\top}p(w\|x_{},X,y) \end{eqnarray}$ und da $\begin{eqnarray} w \end{eqnarray}$ unabhängig von $\begin{eqnarray} x_{}^{\top} \end{eqnarray}$ ist folgt $\begin{eqnarray} x_{}^{\top}p(w\|x_{},X,y)=x_{}^{\top}p(w\|X,y) \end{eqnarray}$ . Zusammenfassend ist also $\begin{eqnarray} p(f_{}\| x_{},X,y)=x_{}^{\top}p(w\|X,y) \end{eqnarray}$ eine linear Transformation einer multivariaten Normalverteilung und somit wieder normalverteilt. Mit $\begin{eqnarray} p(w\|X,y) \sim \mathcal{N}( \sigma_{n}^{2}A^{-1}Xy,A^{-1}) \end{eqnarray}$ folgt $\begin{eqnarray} p(f_{}\| x_{},X,y) \sim \mathcal{N}( \sigma_{n}^{2}x_{}^{\top}A^{-1}Xy,x_{}^{\top}A^{-1}x_{}) \end{eqnarray}$ . Die Verteilung ist noise-free. Für die Prädiktive Verteilung mit einem Störterm geht man wie folgt vor: Betrachten wir nun $\begin{eqnarray} f(x_{})+ U \end{eqnarray}$ mit $\begin{eqnarray} U\sim \mathcal{N}(0,\sigma_{n}^{2}) \end{eqnarray}$ (unabhängig von f), dann gilt offensichtlich: $\begin{eqnarray} f(x_{})+ U \sim \mathcal{N}( \sigma_{n}^{2}x_{}^{\top}A^{-1}Xy,x_{}^{\top}A^{-1}x_{}+\sigma_{n}^{2}) \end{eqnarray*}$ Kann man das mathematisch gesehen so machen? Also passt alles so nach deiner Meinung? Ich würde mich bei einer Antwort sehr freuen.
30.07.2021, 21:21	Haro211	Auf diesen Beitrag antworten »
Hal9000 kannst du mir nicht eine kurze Antwort geben bitte?

Neue Frage »

Antworten »

Dichtefunktion bestimmen

Verwandte Themen