Satz von Bayes |
14.07.2021, 15:25 | haro21 | Auf diesen Beitrag antworten » | ||||||||||||||
Satz von Bayes Moin, kann irgendjemand mit mir ein Beispiel zum Satz von Bayes machen, aber mit 3 Zufallsvariablen? Ich würde dann gerne anhand dieses Beispiels die Rolle vom Prior, Posterior und likelihood verstehen. Wäre cool, wenn jemand dazu bereit ist. Meine Ideen: Erstmal keine, aber wenn jemand bereit ist mir zu helfen würde ich mir Mühe geben selbstständig zu rechnen und zu interpretieren. |
||||||||||||||||
15.07.2021, 16:16 | Huggy | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes Ich kann es mal versuchen, muss aber vorausschicken, dass ich mit der Materie nur oberflächlich vertraut bin. Betrachtet werde ein Bernoulli-Experiment mit unbekannter Erfolgswahrscheinlichkeit , dass dreimal wiederholt wird. Die Stichprobe besteht also aus 3 Zufallsgrößen mit den Werten Es sei ein Erfolg eingetreten. Jetzt wird die Priori-Verteilung von benötigt. In die Priori-Verteilung kann man Vorwissen einfließen lassen. Doch was, wenn kein Vorwissen vorhanden ist? Es sind 3 Varianten gebräuchlich, die ich mal ohne Diskussion aufführe: 1) Gleichverteilung 2) Jeffreys Prior = nicht informative Priori-Verteilung 3) konjugierte Verteilungen Für die Posteriori-Verteilung gilt ist die Likelihood. Der Nenner ist eine Zahl, die die Normierung des Zählers bewirkt. Man lässt ihn oft weg und normiert am Ende einer Rechnung dann den Zähler. Ebenso kann man konstante Faktoren im Zähler während einer Rechnung zunächst weglassen. 1) Gleichverteilung Bei einem Erfolg hat man für die Likelihood Einschließlich Normierung ist dann die Posteriori-Verteilung 2) Jeffreys Prior Jeffreys Prior ist bei diesem Beispiel eine Betaverteilung: Einschließlich Normierung ist dann die Posteriori-Verteilung Das ist wieder eine Beta-Verteilung. 3) Konjugierte Verteilungen Hier wählt man die Priori-Verteilung so, dass die Posteriori-Verteilung zu derselben Verteilungsklaase gehört. Das hat mathematische Vorteile. In diesem Beispiel gehören schon bei 2) Priori- und Posteriori-Verteilung zur selben Verteilungsklasse, nämlich den Beta-Verteilungen. Das ergibt daher keine neue Variante. Die beiden folgenden Abbildungen zeigen zunächst die Priori-Verteilungen und dann die Posteriori-Verteilungen: [attach]53334[/attach] [attach]53335[/attach] |
||||||||||||||||
15.07.2021, 18:38 | haro21 | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes Hi Huggy, ich danke dir für die Antwort!
Bedeutet das, dass und Bernoulli verteilt sind mit bzw. der Gegenwahrscheinlichkeit ?
ist dann die Realisierung zu der unbekannten Wahrscheinlichkeit , die wir als Zufallsvariable modellieren oder?
Woher hast du diese Varianten? Könntest du mir vllt. ein Link oder so dazu empfehlen? Zu 1) Da und Bernoulli verteilt sind, ist die gemeinsame Verteilung Binomialverteilt (unabhängig davon, ob die Zufallsvariablen unabhängig sind oder?) mit n=3 und der unbekannten Wahrscheinlichkeit . beschreibt die Wahrscheinlichkeitsfunktion von mit dem Vorwissen (oder Bedingung) , also einem Erfolg (k=1 in der Binomialverteilung oder?), dementsprechend gilt Wenn das alles stimmt finde ich es an der Stelle schon verwirrend, dass man schreibt, dass ließt sich so, als würde die Unbekannte W'keit 1 sein Wie kommst du auf die 12 in der Normierung? Ich glaube, ich habe etwas falsch verstanden.. |
||||||||||||||||
15.07.2021, 20:02 | Huggy | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes
Ja.
Ja. In der Bayes-Methodik werden auch unbekannte Größen, die bei der Häufigkeitsinterpretation keine Zufallsgrößen wären, als Zufallsgrößen angesehen.
Die habe ich aus Wolfgang Tschirk Statistik: Klassisch oder Bayes Zwei Wege im Vergleich Leonhard Held Methoden der statistischen Inferenz Likelihood und Bayes
Ja, aber unabhängig müssen sie schon sein.
Nein. ist doch keine Vorbedingung für einen Erfolg. Den kann es bei jedem geben.
Nein. Ausführlich geschrieben lautet die linke Seite Sonst könnte doch auf der rechten Seite nicht mehr als Variable auftreten, Überall wo da rechts steht, müsste dann eine 1 stehen. Das wäre Unfug.
Wir haben Es muss gelten (Normierung) Daraus folgt , wenn ich mich nicht verrechnet habe. |
||||||||||||||||
15.07.2021, 20:51 | haro21 | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes
Okay, dass kann ich verstehen
Achso, ich habe versucht , also den Nenner auszurechnen. Das kann man nicht ausrechnen oder? Wir haben ja , setzt du dann einfach oder wie kommt das c zur stande? Ich glaube für deine Integrationsvariable müsste stehen statt . Die Rechnung passt dann, ich habe das selbe raus. Was verteilt ist dann die Verteilung vom Posterior? Kann man das sagen? Ich gehe stark davon aus, dass die Verteilung vom Posterior stetig ist, wegen dem Integral. |
||||||||||||||||
16.07.2021, 08:37 | Huggy | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes
Das kommt zustande, weil wir die posteriori-Dichte zunächst mal nur bis auf eine Konstante bestimmt haben. Die Konstante ergibt sich dann daraus, dass das Integral über eine Dichte ergeben muss. Natürlich muss man nicht so vorgehen. Man kann auch berechnen. Es ist
Richtig. Ich habe es oben korrigiert.
Das verstehe ich nicht. Posterior ist nichts, was eine Verteilung besitzt. Betrachtet wird die Verteilung von . Von haben wir zwei Verteilungen betrachtet: Die Priori-Verteilung, bevor wir Kenntnis von der Stichprobe hatte. Die Posteriori-Verteilung, die ein update der Priori-Verteilung ist, das den Wissenszuwachs über durch die Stichprobe beinhaltet. Beide Verteilungen sind stetig, weil wir angenommen haben, dass beliebige Werte zwischen und annehmen kann. |
||||||||||||||||
Anzeige | ||||||||||||||||
|
||||||||||||||||
16.07.2021, 13:41 | haro21 | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes
Auf diese Marginalisierung kommt man wegen: Für die Zufallsvariablen mit gemeinsamer Dichte ist die Dichte von gegeben durch: . Aus der Formel der bedingten Dichte folgt somit . Aus und folgt und somit kommt auch die 12 zur Stande.
Ahh, ich glaube jetzt werden die Begriffe mir klarer. Wir versuchen herauszufinden. -Im Priori-Verteilung steckt Vorwissen, mit dem wir mehr über herausfinden wollen. Wir wissen hier zunächst einmal nur, dass gleichverteilt ist. - Unser likelihood beinhaltet das Wissen von X bedingt . - likelihood und Prior zusammen ergibt dann die Posteriori-Verteilung. Nun wissen wir mehr über als davor. Interpretiere ich das so richtig? Deine Plots stammen sehr wahrscheinlich aus Mathematica oder? Ich benutzt auch Mathematica Zu 2) Für die Beta-Verteilung im Prior sind die beiden Parameter oder? und im Posterior bzw. Wie kann ich nun die beiden Plots interpretieren? Ich versuche es mal: Die y-Achse ist doch die Wahrscheinlichkeit und die x-Achse sind unsere Realisierungen: Für den Prior: (1) Hier bewerten wir alles mit der W'keit 1, also unsere Informationen sind eigentlich gering. (2) Oh, hier gibt es dann W'keiten, die über 1 sind? Wie soll ich das verstehen? |
||||||||||||||||
16.07.2021, 15:19 | Huggy | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes
So würde ich das nicht ausdrücken. In der Priori-Verteilung kann Vorwissen stecken. Wenn wir z. B. vor der Stichprobe wüssten, dass mit 60 % Wahrscheinlichkeit ist, dann würden wir die Priori-Verteilung so wählen, dass gilt Hier sind wir aber davon ausgegangen, dass wir kein Vorwissen haben. Und da ist die Frage, wie man dieses völlige Unwissen durch die Priori-Verteilung ausdrücken kann. Das ist eine durchaus schwierige Frage. Die naheliegende Idee, das Unwissen durch eine Gleichverteilung zu repräsentieren, ist tatsächlich ohne wenn und aber nur dann gerechtfertigt, wenn nur eine endliche Zahl diskreter Werte annehmen kann. Bei unserem Beispiel ist aber der Jeffreys Prior die "richtigere" Wahl. Ich lasse jetzt mal offen, weshalb das so ist.
Ja.
Ja.
Ja.
Nein, nicht ganz. In den Plots sind die Wahrscheinlichkeitsdichten bzw. auf der y-Achse über auf der x-Achse aufgetragen. Und Wahrscheinlichkeitsdichten sind nun mal keine Wahrscheinlichkeiten. Dichten können durchaus Werte über annehmen. Aus einer Dichte wird eine Wahrscheinlichkeit, wenn man sie über ein Intervall integriert. Das ergibt die Wahrscheinlichkeit, dass die Zufallsgröße in diesem Intervall liegt. Diese Wahrscheinlichkeiten sind , weil ja das Gesamtintegral über die Dichte ist. |
||||||||||||||||
16.07.2021, 16:28 | haro21 | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes
Warum ist das aber so? In unserem Fall ist es ja eindeutig, dass mehr als nur diskrete Werte annehmen kann, sondern Werte im offenen Intervall (0,1).
Da Werte im offenen Intervall (0,1) annehmen kann. Also gut, dann kann ich die Plots doch nicht interpretieren Wie würdest du denn die Plots interpretieren? |
||||||||||||||||
16.07.2021, 17:18 | Huggy | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes
Nehmen wir an, ein Hersteller stellt Kugeln her. Zunächst wissen wir nur, dass ihre Radien alle in einem Intervall liegen. Wie sie sich darin verteilen, ist zunächst nicht bekannt. Also nehmen wir als Priori-Verteilung eine Gleichverteilung in an. Wir könnten aber ebenso eine Gleichverteilung für das Volumen oder für die Oberfläche annehmen. Wenn man eine Gleichverteilung für den Radius annimmt, kann man sie mit dem Transformationssatz in eine Verteilung für das Volumen oder die Oberfläche umrechnen. Das ergibt aber dann keine Gleichverteilung für diese Größen und umgekehrt ebenso. Das Verfahren ist also inkonsistent. Allgemein stellt sich das Problem so: Wenn man mit einem Parameter arbeitet, könntet man auch mit einem Parameter arbeiten, der eine streng monotone Funktion von ist. Die Annahme einer Gleichverteilung für den einen Parameter ist aber mit einer Annahme einer Gleichverteilung für den anderen Parameter nicht verträglich, wenn eine nichtlineare Funktion ist. Das scheint ein unlösbares Problem aufzuwerfen. Tatsächlich ist es aber lösbar und diese Lösung ist der Jeffreys Prior.
Das verstehe ich nicht. Ich habe dir doch gesagt, was aufgetragen ist. Du musst nur wissen was eine Dichtefunktion ist. Das ist aber ein grundlegender Begriff in der Statistik. |
||||||||||||||||
16.07.2021, 18:31 | haro21 | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes hmm okay, ich glaube ich habe das Grundprinzip verstanden. Ich habe die Frage gestellt, da ich mit der Bayes-Statistik lineare Regression machen wollte, aber ich habe das Prinzip nicht so verstanden gehabt. Man nimmt das folgende Modell an: mit , , den unbekannten Gewichten und . Es sind nun Trainingsdaten bekannt. Ich habe mir ein Beispiel entworfen, wo meine Trainingsdaten aus N=100 und n=1 bestehen, somit hätte ich mit und . Meine Daten habe ich mit einer biavariaten Normalverteilung in Mathematica generiert. Wenn man annimmt, dass der Parameter normalverteilt ist mit , dann kann man für den Parameter den MAP Schätzer herleiten. (siehe Bild 2) Die Matrix A ist die Datenmatrix (in den Zeilen), also . Ich nehme jetzt mal irgendwelche Werte für die beschriebenen Größen, um ein Ergebnis zu bekommen. Sei , (also ). Außerdem sei (also ). Jetzt habe ich doch alles für w oder? Ich kriege für w das folgende Ergebnis (siehe Bild). Keine Ahnung, ob das so richtig ist Man kann außerdem zeigen, dass die Posterior-Verteilung von w auch Normalverteilt ist mit (siehe Bild) Wie könnte ich das auch in mein Plot einbringen? Könntest du mir bitte bei dieser Problemstellung helfen? DU bist echt gut und ich könnte deine Hilfe sehr gebrauchen. Keiner hilft mir sonst bitte |
||||||||||||||||
16.07.2021, 20:11 | Huggy | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes Wie ich schon zu Anfang sagte, bin ich mit der Bayes-Methodik nur oberflächlich vertraut. Ich möchte daher keine Arbeit hineinstecken, die für ein komplexeres Problem notwendig wäre. Ich zweifele auch, ob du mit deinen noch geringeren Kenntnissen so etwas angehen solltest. |
||||||||||||||||
16.07.2021, 20:40 | haro21 | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes Naja, ich habe keine andere Wahl. Ich muss das für die UNI machen.. Trotzdem, ich danke dir. War gut für mich mit jemanden darüber reden zu können. |
||||||||||||||||
18.07.2021, 20:02 | haro21 | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes Moin Huggy, von was für mathematischen Vorteilen ist hier die Rede?
Wäre cool, wenn du mir das noch beantworten könntest. |
||||||||||||||||
19.07.2021, 08:15 | Huggy | Auf diesen Beitrag antworten » | ||||||||||||||
RE: Satz von Bayes Bei konjugierten Verteilungen hat man die Posteriori-Verteilung analytisch voll in der Hand. Man muss nur bestimmen, welche Parameter der Posteriori-Verteilung durch eine Stichprobe erzeugt werden. Danach sind die Charakteristika der Posteriori-Verteilung wie Erwartungswert, Varianz usw. bekannt. Im anderen Fall muss man das alles erst durch Integrationen bestimmen, die häufig nur numerisch durchführbar sind. Das macht es schwierig, allgemeine Zusammenhänge aufzudecken. Siehe auch https://en.wikipedia.org/wiki/Conjugate_prior https://www.yumpu.com/de/document/view/1...n-institut-fur- |
|
Verwandte Themen
Die Beliebtesten » |
|
Die Größten » |
|
Die Neuesten » |