Satz von Bayes

Neue Frage »

haro21 Auf diesen Beitrag antworten »
Satz von Bayes
Meine Frage:
Moin, kann irgendjemand mit mir ein Beispiel zum Satz von Bayes machen, aber mit 3 Zufallsvariablen?
Ich würde dann gerne anhand dieses Beispiels die Rolle vom Prior, Posterior und likelihood verstehen. Wäre cool, wenn jemand dazu bereit ist.

Meine Ideen:
Erstmal keine, aber wenn jemand bereit ist mir zu helfen würde ich mir Mühe geben selbstständig zu rechnen und zu interpretieren.
Huggy Auf diesen Beitrag antworten »
RE: Satz von Bayes
Ich kann es mal versuchen, muss aber vorausschicken, dass ich mit der Materie nur oberflächlich vertraut bin.

Betrachtet werde ein Bernoulli-Experiment mit unbekannter Erfolgswahrscheinlichkeit , dass dreimal wiederholt wird. Die Stichprobe besteht also aus 3 Zufallsgrößen



mit den Werten



Es sei ein Erfolg eingetreten. Jetzt wird die Priori-Verteilung von benötigt. In die Priori-Verteilung kann man Vorwissen einfließen lassen. Doch was, wenn kein Vorwissen vorhanden ist? Es sind 3 Varianten gebräuchlich, die ich mal ohne Diskussion aufführe:

1) Gleichverteilung
2) Jeffreys Prior = nicht informative Priori-Verteilung
3) konjugierte Verteilungen

Für die Posteriori-Verteilung gilt



ist die Likelihood. Der Nenner ist eine Zahl, die die Normierung des Zählers bewirkt. Man lässt ihn oft weg und normiert am Ende einer Rechnung dann den Zähler. Ebenso kann man konstante Faktoren im Zähler während einer Rechnung zunächst weglassen.


1) Gleichverteilung



Bei einem Erfolg hat man für die Likelihood



Einschließlich Normierung ist dann die Posteriori-Verteilung




2) Jeffreys Prior

Jeffreys Prior ist bei diesem Beispiel eine Betaverteilung:



Einschließlich Normierung ist dann die Posteriori-Verteilung



Das ist wieder eine Beta-Verteilung.


3) Konjugierte Verteilungen

Hier wählt man die Priori-Verteilung so, dass die Posteriori-Verteilung zu derselben Verteilungsklaase gehört. Das hat mathematische Vorteile. In diesem Beispiel gehören schon bei 2) Priori- und Posteriori-Verteilung zur selben Verteilungsklasse, nämlich den Beta-Verteilungen. Das ergibt daher keine neue Variante.

Die beiden folgenden Abbildungen zeigen zunächst die Priori-Verteilungen und dann die Posteriori-Verteilungen:

[attach]53334[/attach]

[attach]53335[/attach]
haro21 Auf diesen Beitrag antworten »
RE: Satz von Bayes
Hi Huggy, ich danke dir für die Antwort! Freude

Zitat:
Betrachtet werde ein Bernoulli-Experiment mit unbekannter Erfolgswahrscheinlichkeit, dass dreimal wiederholt wird. Die Stichprobe besteht also aus 3 Zufallsgrößen


Bedeutet das, dass und Bernoulli verteilt sind mit

bzw. der Gegenwahrscheinlichkeit

?

Zitat:
Es sei ein Erfolg eingetreten. Jetzt wird die Priori-Verteilung von , benötigt.


ist dann die Realisierung zu der unbekannten Wahrscheinlichkeit , die wir als Zufallsvariable modellieren oder?

Zitat:
1) Gleichverteilung
2) Jeffreys Prior = nicht informative Priori-Verteilung
3) konjugierte Verteilungen


Woher hast du diese Varianten? verwirrt Könntest du mir vllt. ein Link oder so dazu empfehlen?


Zu 1)

Da und Bernoulli verteilt sind, ist die gemeinsame Verteilung Binomialverteilt (unabhängig davon, ob die Zufallsvariablen unabhängig sind oder?) mit n=3 und der unbekannten Wahrscheinlichkeit .

beschreibt die Wahrscheinlichkeitsfunktion von mit dem Vorwissen (oder Bedingung) , also einem Erfolg (k=1 in der Binomialverteilung oder?), dementsprechend gilt



Wenn das alles stimmt finde ich es an der Stelle schon verwirrend, dass man schreibt, dass ließt sich so, als würde die Unbekannte W'keit 1 sein Big Laugh

Wie kommst du auf die 12 in der Normierung? Ich glaube, ich habe etwas falsch verstanden..
Huggy Auf diesen Beitrag antworten »
RE: Satz von Bayes
Zitat:
Original von haro21
Bedeutet das, dass und Bernoulli verteilt sind mit

bzw. der Gegenwahrscheinlichkeit

?

Ja.

Zitat:
ist dann die Realisierung zu der unbekannten Wahrscheinlichkeit , die wir als Zufallsvariable modellieren oder?

Ja. In der Bayes-Methodik werden auch unbekannte Größen, die bei der Häufigkeitsinterpretation keine Zufallsgrößen wären, als Zufallsgrößen angesehen.

Zitat:
Woher hast du diese Varianten? verwirrt Könntest du mir vllt. ein Link oder so dazu empfehlen?

Die habe ich aus

Wolfgang Tschirk
Statistik: Klassisch oder Bayes
Zwei Wege im Vergleich

Leonhard Held
Methoden der statistischen Inferenz
Likelihood und Bayes

Zitat:
Da und Bernoulli verteilt sind, ist die gemeinsame Verteilung Binomialverteilt (unabhängig davon, ob die Zufallsvariablen unabhängig sind oder?) mit n=3 und der unbekannten Wahrscheinlichkeit .

Ja, aber unabhängig müssen sie schon sein.

Zitat:
beschreibt die Wahrscheinlichkeitsfunktion von mit dem Vorwissen (oder Bedingung) , also einem Erfolg (k=1 in der Binomialverteilung oder?)

Nein. ist doch keine Vorbedingung für einen Erfolg. Den kann es bei jedem geben.

Zitat:
, dementsprechend gilt



Nein. Ausführlich geschrieben lautet die linke Seite



Sonst könnte doch auf der rechten Seite nicht mehr als Variable auftreten, Überall wo da rechts steht, müsste dann eine 1 stehen. Das wäre Unfug.

Zitat:
Wie kommst du auf die 12 in der Normierung? Ich glaube, ich habe etwas falsch verstanden..

Wir haben



Es muss gelten (Normierung)



Daraus folgt , wenn ich mich nicht verrechnet habe.
haro21 Auf diesen Beitrag antworten »
RE: Satz von Bayes
Zitat:
Nein. Ausführlich geschrieben lautet die linke Seite



Sonst könnte doch auf der rechten Seite nicht mehr
als Variable auftreten, Überall wo da rechts steht, müsste dann eine 1 stehen. Das wäre Unfug.


Okay, dass kann ich verstehen Freude

Zitat:

Wir haben



Es muss gelten (Normierung)



Daraus folgt , wenn ich mich nicht verrechnet habe.


Achso, ich habe versucht , also den Nenner auszurechnen. Das kann man nicht ausrechnen oder?

Wir haben ja , setzt du dann einfach oder wie kommt das c zur stande?

Ich glaube für deine Integrationsvariable müsste stehen statt . Die Rechnung passt dann, ich habe das selbe raus.

Was verteilt ist dann die Verteilung vom Posterior? Kann man das sagen? Ich gehe stark davon aus, dass die Verteilung vom Posterior stetig ist, wegen dem Integral.
Huggy Auf diesen Beitrag antworten »
RE: Satz von Bayes
Zitat:
Original von haro21
Achso, ich habe versucht , also den Nenner auszurechnen. Das kann man nicht ausrechnen oder?

Wir haben ja , setzt du dann einfach oder wie kommt das c zur stande?

Das kommt zustande, weil wir die posteriori-Dichte zunächst mal nur bis auf eine Konstante bestimmt haben. Die Konstante ergibt sich dann daraus, dass das Integral über eine Dichte ergeben muss. Natürlich muss man nicht so vorgehen. Man kann auch berechnen. Es ist



Zitat:
Ich glaube für deine Integrationsvariable müsste stehen statt . Die Rechnung passt dann, ich habe das selbe raus.

Richtig. Ich habe es oben korrigiert.

Zitat:
Was verteilt ist dann die Verteilung vom Posterior? Kann man das sagen? Ich gehe stark davon aus, dass die Verteilung vom Posterior stetig ist, wegen dem Integral.

Das verstehe ich nicht. Posterior ist nichts, was eine Verteilung besitzt. Betrachtet wird die Verteilung von . Von haben wir zwei Verteilungen betrachtet: Die Priori-Verteilung, bevor wir Kenntnis von der Stichprobe hatte. Die Posteriori-Verteilung, die ein update der Priori-Verteilung ist, das den Wissenszuwachs über durch die Stichprobe beinhaltet. Beide Verteilungen sind stetig, weil wir angenommen haben, dass beliebige Werte zwischen und annehmen kann.
 
 
haro21 Auf diesen Beitrag antworten »
RE: Satz von Bayes
Zitat:
Original von Huggy


Das kommt zustande, weil wir die posteriori-Dichte zunächst mal nur bis auf eine Konstante bestimmt haben. Die Konstante ergibt sich dann daraus, dass das Integral über eine Dichte ergeben muss. Natürlich muss man nicht so vorgehen. Man kann auch berechnen. Es ist



Auf diese Marginalisierung kommt man wegen: Für die Zufallsvariablen mit gemeinsamer Dichte ist die Dichte von gegeben durch:

. Aus der Formel der bedingten Dichte folgt somit

. Aus und folgt

und somit kommt auch die 12 zur Stande. Freude


Zitat:
Das verstehe ich nicht. Posterior ist nichts, was eine Verteilung besitzt. Betrachtet wird die Verteilung von ˜. Von ˜ haben wir zwei Verteilungen betrachtet: Die Priori-Verteilung, bevor wir Kenntnis von der Stichprobe hatte. Die Posteriori-Verteilung, die ein update der Priori-Verteilung ist, das den Wissenszuwachs über ˜ durch die Stichprobe beinhaltet. Beide Verteilungen sind stetig, weil wir angenommen haben, dass ˜ beliebige Werte zwischen 0 und 1 annehmen kann.


Ahh, ich glaube jetzt werden die Begriffe mir klarer. Wir versuchen herauszufinden.

-Im Priori-Verteilung steckt Vorwissen, mit dem wir mehr über herausfinden wollen. Wir wissen hier zunächst einmal nur, dass gleichverteilt ist.

- Unser likelihood beinhaltet das Wissen von X bedingt .

- likelihood und Prior zusammen ergibt dann die Posteriori-Verteilung. Nun wissen wir mehr über als davor.

Interpretiere ich das so richtig?


Deine Plots stammen sehr wahrscheinlich aus Mathematica oder? Ich benutzt auch Mathematica Big Laugh

Zu 2)

Für die Beta-Verteilung im Prior sind die beiden Parameter oder?

und im Posterior bzw.

Wie kann ich nun die beiden Plots interpretieren? Ich versuche es mal: Die y-Achse ist doch die Wahrscheinlichkeit und die x-Achse sind unsere Realisierungen:


Für den Prior:


(1) Hier bewerten wir alles mit der W'keit 1, also unsere Informationen sind eigentlich gering.

(2) Oh, hier gibt es dann W'keiten, die über 1 sind? Wie soll ich das verstehen?
Huggy Auf diesen Beitrag antworten »
RE: Satz von Bayes
Zitat:
Original von haro21
-Im Priori-Verteilung steckt Vorwissen, mit dem wir mehr über herausfinden wollen. Wir wissen hier zunächst einmal nur, dass gleichverteilt ist.

So würde ich das nicht ausdrücken. In der Priori-Verteilung kann Vorwissen stecken. Wenn wir z. B. vor der Stichprobe wüssten, dass mit 60 % Wahrscheinlichkeit ist, dann würden wir die Priori-Verteilung so wählen, dass gilt



Hier sind wir aber davon ausgegangen, dass wir kein Vorwissen haben. Und da ist die Frage, wie man dieses völlige Unwissen durch die Priori-Verteilung ausdrücken kann. Das ist eine durchaus schwierige Frage. Die naheliegende Idee, das Unwissen durch eine Gleichverteilung zu repräsentieren, ist tatsächlich ohne wenn und aber nur dann gerechtfertigt, wenn nur eine endliche Zahl diskreter Werte annehmen kann. Bei unserem Beispiel ist aber der Jeffreys Prior die "richtigere" Wahl. Ich lasse jetzt mal offen, weshalb das so ist.

Zitat:
- Unser likelihood beinhaltet das Wissen von X bedingt .

- likelihood und Prior zusammen ergibt dann die Posteriori-Verteilung. Nun wissen wir mehr über als davor.

Interpretiere ich das so richtig?

Ja.

Zitat:
Deine Plots stammen sehr wahrscheinlich aus Mathematica oder?

Ja.

Zitat:
Für die Beta-Verteilung im Prior sind die beiden Parameter oder?

und im Posterior bzw.

Ja.

Zitat:
Wie kann ich nun die beiden Plots interpretieren? Ich versuche es mal: Die y-Achse ist doch die Wahrscheinlichkeit und die x-Achse sind unsere Realisierungen:

Nein, nicht ganz. In den Plots sind die Wahrscheinlichkeitsdichten bzw. auf der y-Achse über auf der x-Achse aufgetragen. Und Wahrscheinlichkeitsdichten sind nun mal keine Wahrscheinlichkeiten. Dichten können durchaus Werte über annehmen. Aus einer Dichte wird eine Wahrscheinlichkeit, wenn man sie über ein Intervall integriert. Das ergibt die Wahrscheinlichkeit, dass die Zufallsgröße in diesem Intervall liegt. Diese Wahrscheinlichkeiten sind , weil ja das Gesamtintegral über die Dichte ist.
haro21 Auf diesen Beitrag antworten »
RE: Satz von Bayes
Zitat:
ie naheliegende Idee, das Unwissen durch eine Gleichverteilung zu repräsentieren, ist tatsächlich ohne wenn und aber nur dann gerechtfertigt, wenn ˜ nur eine endliche Zahl diskreter Werte annehmen kann.


Warum ist das aber so?

In unserem Fall ist es ja eindeutig, dass mehr als nur diskrete Werte annehmen kann, sondern Werte im offenen Intervall (0,1).

Zitat:
Bei unserem Beispiel ist aber der Jeffreys Prior die "richtigere" Wahl. Ich lasse jetzt mal offen, weshalb das so ist.


Da Werte im offenen Intervall (0,1) annehmen kann.


Also gut, dann kann ich die Plots doch nicht interpretieren Big Laugh Wie würdest du denn die Plots interpretieren?
Huggy Auf diesen Beitrag antworten »
RE: Satz von Bayes
Zitat:
Original von haro21
Zitat:
ie naheliegende Idee, das Unwissen durch eine Gleichverteilung zu repräsentieren, ist tatsächlich ohne wenn und aber nur dann gerechtfertigt, wenn ˜ nur eine endliche Zahl diskreter Werte annehmen kann.

Warum ist das aber so?

Nehmen wir an, ein Hersteller stellt Kugeln her. Zunächst wissen wir nur, dass ihre Radien alle in einem Intervall liegen. Wie sie sich darin verteilen, ist zunächst nicht bekannt. Also nehmen wir als Priori-Verteilung eine Gleichverteilung in an. Wir könnten aber ebenso eine Gleichverteilung für das Volumen oder für die Oberfläche annehmen. Wenn man eine Gleichverteilung für den Radius annimmt, kann man sie mit dem Transformationssatz in eine Verteilung für das Volumen oder die Oberfläche umrechnen. Das ergibt aber dann keine Gleichverteilung für diese Größen und umgekehrt ebenso. Das Verfahren ist also inkonsistent. Allgemein stellt sich das Problem so: Wenn man mit einem Parameter arbeitet, könntet man auch mit einem Parameter arbeiten, der eine streng monotone Funktion von ist. Die Annahme einer Gleichverteilung für den einen Parameter ist aber mit einer Annahme einer Gleichverteilung für den anderen Parameter nicht verträglich, wenn eine nichtlineare Funktion ist.

Das scheint ein unlösbares Problem aufzuwerfen. Tatsächlich ist es aber lösbar und diese Lösung ist der Jeffreys Prior.

Zitat:
Also gut, dann kann ich die Plots doch nicht interpretieren Big Laugh Wie würdest du denn die Plots interpretieren?

Das verstehe ich nicht. Ich habe dir doch gesagt, was aufgetragen ist. Du musst nur wissen was eine Dichtefunktion ist. Das ist aber ein grundlegender Begriff in der Statistik.
haro21 Auf diesen Beitrag antworten »
RE: Satz von Bayes
hmm okay, ich glaube ich habe das Grundprinzip verstanden. Freude

Ich habe die Frage gestellt, da ich mit der Bayes-Statistik lineare Regression machen wollte, aber ich habe das Prinzip nicht so verstanden gehabt. Man nimmt das folgende Modell an:

mit , , den unbekannten Gewichten und .

Es sind nun Trainingsdaten

bekannt.

Ich habe mir ein Beispiel entworfen, wo meine Trainingsdaten aus N=100 und n=1 bestehen, somit hätte ich

mit und . Meine Daten habe ich mit einer biavariaten Normalverteilung in Mathematica generiert.

Wenn man annimmt, dass der Parameter normalverteilt ist mit , dann kann man für den Parameter den MAP Schätzer herleiten. (siehe Bild 2)
Die Matrix A ist die Datenmatrix (in den Zeilen), also

.

Ich nehme jetzt mal irgendwelche Werte für die beschriebenen Größen, um ein Ergebnis zu bekommen. Sei , (also ). Außerdem sei (also ).

Jetzt habe ich doch alles für w oder?

Ich kriege für w das folgende Ergebnis (siehe Bild). Keine Ahnung, ob das so richtig ist unglücklich

Man kann außerdem zeigen, dass die Posterior-Verteilung von w auch Normalverteilt ist mit (siehe Bild)

Wie könnte ich das auch in mein Plot einbringen?

Könntest du mir bitte bei dieser Problemstellung helfen? DU bist echt gut und ich könnte deine Hilfe sehr gebrauchen. Keiner hilft mir sonst bitte traurig
Huggy Auf diesen Beitrag antworten »
RE: Satz von Bayes
Wie ich schon zu Anfang sagte, bin ich mit der Bayes-Methodik nur oberflächlich vertraut. Ich möchte daher keine Arbeit hineinstecken, die für ein komplexeres Problem notwendig wäre. Ich zweifele auch, ob du mit deinen noch geringeren Kenntnissen so etwas angehen solltest.
haro21 Auf diesen Beitrag antworten »
RE: Satz von Bayes
Naja, ich habe keine andere Wahl. Ich muss das für die UNI machen..

Trotzdem, ich danke dir. War gut für mich mit jemanden darüber reden zu können.
haro21 Auf diesen Beitrag antworten »
RE: Satz von Bayes
Moin Huggy, von was für mathematischen Vorteilen ist hier die Rede?


Zitat:
Hier wählt man die Priori-Verteilung so, dass die Posteriori-Verteilung zu derselben Verteilungsklaase gehört. Das hat mathematische Vorteile.

Wäre cool, wenn du mir das noch beantworten könntest. smile
Huggy Auf diesen Beitrag antworten »
RE: Satz von Bayes
Bei konjugierten Verteilungen hat man die Posteriori-Verteilung analytisch voll in der Hand. Man muss nur bestimmen, welche Parameter der Posteriori-Verteilung durch eine Stichprobe erzeugt werden. Danach sind die Charakteristika der Posteriori-Verteilung wie Erwartungswert, Varianz usw. bekannt. Im anderen Fall muss man das alles erst durch Integrationen bestimmen, die häufig nur numerisch durchführbar sind. Das macht es schwierig, allgemeine Zusammenhänge aufzudecken. Siehe auch

https://en.wikipedia.org/wiki/Conjugate_prior

https://www.yumpu.com/de/document/view/1...n-institut-fur-
Neue Frage »
Antworten »



Verwandte Themen

Die Beliebtesten »
Die Größten »
Die Neuesten »