Bayes vs. Frequentisten

Neue Frage »

Gedeuftel1234 Auf diesen Beitrag antworten »
Bayes vs. Frequentisten
Meine Frage:

Hallo!

Mir geht's darum, zu erkennen, wenn ich irgendwas über Statistik oder Stochastik lese/lerne, ob ich es da mit Bayes'scher oder Frequentistischer Statistik zu tun habe.

Ich bin in dem Thema voller Halbwissen und verstehe bei den Erklärungen meistens nur ein Viertel.


Meine Ideen:
Kann man sagen, dass die Leute, die mit der Bayes'schen Statistik arbeiten, immer nur den Satz von Bayes anwenden (also immer die a-priori wahrscheinlichkeit ermitteln, dann die bedingte und dann die A-posteriori berechnen)? Und alle anderen statistischen Verfahren, wie Maximum-Likelihood, die ganzen Wahrscheinlichkeitsverteilungen usw. , Chi²-Hypothesentests usw. dem frequentistischen Denken folgen?

Ich verstehe die konkreten Auswirkungen dieser Unterscheidung auf die Formeln, die man zum Berechnen von Wahrscheinlichkeiten und statistischen Größen verwendet, nicht...

Gibt es irgendwo ein Übersicht, welche Formeln man in der Bayes'schen Statistik und welche man in der frequentistischen nutzt?
Huggy Auf diesen Beitrag antworten »
RE: Bayes vs. Frequentisten
Die Sache ist nicht so einfach zu erklären. Zunächst mal ist festzustellen, dass die F-Statistik und die B-Statistik dieselbe mathematische Theorie benutzen. Da gibt es überhaupt keinen Unterschied. Deshalb wird in rein mathematischen Büchern der Stochastik praktisch nie auf diese Thematik eingegangen.

Der Unterschied besteht darin, auf welche Vorgänge der realen Welt man die mathematische Theorie wie anwendet. Die F-Statistik ordnet nur den Ergebnissen von Zufallsexperimenten/Zufallsvorgängen eine Wahrscheinlichkeit zu, also Vorgängen, die sich zumindest im Prinzip beliebig oft unter gleichen Bedingungen wiederholen lassen und die trotzdem unterschiedliche , eben "zufällige", Ergebnisse haben. Dieses Konzept wirft natürlich logische Fragen auf.

Größen, die einen festen Wert haben, der sich nicht von Versuch zu Versuch ändert, ordnet die F-Statistik keine Wahrscheinlichkeit zu, auch dann nicht, wenn der Wert einer solchen Größe unbekannt ist. Die B-Statistik ordnet auch solchen festen, aber unbekannten Größen eine Wahrscheinlichkeit zu. In der Praxis geht es dabei meistens um die unbekannten Parameter einer Wahrscheinlichkeitsverteilung.

Auch die F-Statistik möchte aus Stichproben Rückschlüsse auf solche unbekannte Parameter ziehen, muss aber dazu Klimmzüge machen, wie das Konfidenzintervall oder den Hypothesentest, weil diese Parameter halt in der F-Statistik keine Wahrscheinlichkeit haben. Die B-Statistik ist da konzeptionell viel einfacher, weil die unbekannten Parameter da auch eine Wahrscheinlichkeit haben. Das zentrale Werkzeug zur Berechnung der Wahrscheinlichkeitsverteilung unbekannter Parameter in der B-Statistik ist der Satz von Bayes, den es natürlich auch in der F-Statistik gibt, der dort aber nicht auf unbekannte Parameter angewandt werden kann, weil die ja keine Wahrscheinlichkeit haben.
Gedeuftel1234 Auf diesen Beitrag antworten »
Bayes vs. Frequentisten
Hallo Huggy,

vielen Dank für deine Antwort!

Jetzt hab ich da noch weitere Fragen:

a) Könntest du ein konkretes Beispiel machen, was es heißt, wenn "Die B-Statistik ordnet auch solchen festen, aber unbekannten Größen eine Wahrscheinlichkeit zu." aber die F-Statistik nicht?

Ich kenne mich mit Parameterschätzung noch nicht wirklich aus.

b) Du meintest, es gibt mathematisch keinen Unterschied: Aber kann man nicht sagen, dass immer, wenn mit A-Priori-Wahrscheinlichkeiten gerechnet wird, man dem Bayes-Ansatz folgt?

c) Wieso wird denn der Satz von Bayes in der F-Statistik trotzdem verwendet? Wie passt der in deren Sichtweise rein?

d) Könntest du ein konkretes Beispiel geben, wie es aussehen würde, wenn ich in der F-Statistik den Satz von Bayes fälschlicherweise auf unbekannte Parameter anwenden würde?
Huggy Auf diesen Beitrag antworten »
RE: Bayes vs. Frequentisten
Zitat:
Original von Gedeuftel1234
a) Könntest du ein konkretes Beispiel machen, was es heißt, wenn "Die B-Statistik ordnet auch solchen festen, aber unbekannten Größen eine Wahrscheinlichkeit zu." aber die F-Statistik nicht?

Betrachten wir eine Zufallsgröße , die normalverteilt ist mit Parametern und . Wenn die beiden Parameter bekannt sind, kann man die Wahrscheinlichkeit ausrechnen, mit der in dem Intervall liegt. Häufig werden aber einer oder beide Parameter gar nicht bekannt sein. Sie haben einen festen Wert, aber den kennen wir nicht. Im Sinne der F-Statistik sind die unbekannten Parameter keine Zufallsgrößen. Ihnen kommt daher keine Wahrscheinlichkeit zu. Wenn man in der F-Statistik aufgrund einer Stichprobe etwas über die unbekannten Parameter aussagen möchte, kann man z. B. ein Konfidenzintervall für sie bestimmen. Dieses Konfidenzintervall ist aber keine Wahrscheinlichkeit für die Parameter.

In der B-Statstik ordnet man auch den unbekannten Parametern eine Wahrscheinlichkeit zu. Diese Wahrscheinlichkeit kann man aufgrund einer Stichprobe mit dem Satz von Bayes bestimmen. Man nennt die aufgrund der Stichprobe bestimmte Wahrscheinlichkeit die posteriori-Wahrscheinlichkeit. Damit man den Satz von Bayes anwenden kann, muss man den Parametern aber auch schon vor dem Vorliegen der Stichprobe eine Wahrscheinlichkeit zuordnen. Das ist die priori-Wahrscheinlichkeit. Eine Grundfrage der B-Statistik ist, wie man die priori-Wahrscheinlichkeiten festlegen soll.

Zitat:
b) Du meintest, es gibt mathematisch keinen Unterschied: Aber kann man nicht sagen, dass immer, wenn mit A-Priori-Wahrscheinlichkeiten gerechnet wird, man dem Bayes-Ansatz folgt?

Betrachten wir eine zweistufiges Urnenexperiment. Man habe 2 Urnen und . Jede enthalte eine Anzahl weißer und schwarzer Kugeln. Der Anteil der weißen Kugeln in sei . Der Anteil der schwarzen Kugeln sei . Die entsprechenden Zahlen für seien und . und seien bekannt.

Jetzt werde in der ersten Stufe eine der beiden Urnen durch einen Zufallsprozess ausgewählt. Die Wahrscheinlichkeit, dass gewählt wird, sei . Die Wahrscheinlichkeit dass gewählt wird, sei . und damit auch seien ebenfalls bekannt. In de zweiten Stufe wird aus der gewählten Urne eine Stichprobe mit Zurücklegen gezogen. Bei diesem zweistufigen Experiment kann die F-Statistik den Satz von Bayes anwenden. Die priori-Wahrscheinlichkeiten sind und . Die nach Vorliegen der Stichprobe mit dem Satz von Bayes ermittelten Wahrscheinlichkeiten für die beiden Urnen sind die posteriori-Wahrscheinlichkeiten.

Ändern wir die Sache etwas ab. Die erste Stufe entfällt. Es sei nur bekannt, dass die Stichprobe aus einer der beiden Urnen stammt. Wie die Urne ausgewählt wurde, ist nicht bekannt. Es gibt im Sinne der F-Statistik deshalb keine Wahrscheinlichkeit dafür. Also kann man in der F-Statistik jetzt den Satz von Bayes nicht anwenden. In der B-Statistik sagt man, wenn überhaupt nichts darüber bekannt ist, wie die Urne ausgewählt wurde, nehme ich die priori-Wahrscheinlichkeiten , weil die beiden Urnen nach dem vorliegenden Informationsstand völlig gleichberechtigt sind. Danach kann man in der B-Statistik den Satz von Bayes anwenden.

Zitat:
d) Könntest du ein konkretes Beispiel geben, wie es aussehen würde, wenn ich in der F-Statistik den Satz von Bayes fälschlicherweise auf unbekannte Parameter anwenden würde?

Das vorherige Beispiel zeigt, dass man den Satz von Bayes in der F-Statistik nicht fälschlicherweise anwenden kann. Man kann ihn anwenden, falls es im Sinne der F-Statistik priori-Wahrscheinlichkeiten gibt. Gibt es sie im Sinne der F-Statistik nicht, kann man ihn nicht anwenden. In der Bayes-Formel stehen nun mal priori-Wahrscheinlichkeiten.
Gedeuftel1234 Auf diesen Beitrag antworten »
Bayes vs. Frequentisten
Hallo Huggy,

vielen Dank für die Antwort!! Mal schauen, ob ich das richtig verstanden habe.

Wenn ich dich bei deinem Beispiel für b) richtig verstehe, ist der Unterschied, dass Baysianer halt sagen: Gut, wenn ich die Priori nicht kenne, nehme ich halt mal was an. Die F-Statistiker würden dieses Verhalten ablehnen. Also eher Geschmackssache?

"Eine Grundfrage der B-Statistik ist, wie man die priori-Wahrscheinlichkeiten festlegen soll." - und das ist dann, wie ich b) entnehme, oft die Festlegung, eine Gleichverteilung anzunehmen?

Und noch mal ein weitere Beispiel: Im machine learning gibt es den Naive-Bayes-Klassifikator, der genau mit dem Satz von Bayes arbeitet und die Wahrscheinlichkeit für eine Klassenzugehörigkeit berechnet. Angenommen meine beiden Klassen sind A und B, dann wäre P(A) die a-priori-Wahrscheinl. der Klasse A.

Verstehe ich richtig, dass F-Statistiker diesen Klassifikator nur dann als sinnvoll erachten, wenn ich P(A) wirklich bestimmten kann (was wohl meistens durch Abzählen geschieht, weil der Trainingskorpus für den Klassifikator endlich ist), ein Bayesianer ihn aber auch dann verwenden würde, wenn P(A) nicht bestimmt werden kann... er würde dann einfach eine sinnvolle Annahmen über P(A) treffen?
Huggy Auf diesen Beitrag antworten »
RE: Bayes vs. Frequentisten
Zitat:
Original von Gedeuftel1234
Wenn ich dich bei deinem Beispiel für b) richtig verstehe, ist der Unterschied, dass Baysianer halt sagen: Gut, wenn ich die Priori nicht kenne, nehme ich halt mal was an. Die F-Statistiker würden dieses Verhalten ablehnen. Also eher Geschmackssache?

Nicht ganz. Ein Außenstehender mag das so sehen. Die Kontrahenten, wenn ich die F- und die B-Statistiker mal als solche bezeichne, würden es für mehr als eine Geschmacksfrage halten. Deshalb haben sie auch zeitweise heftig und teils polemisch miteinander gestritten.

Für die F-Statistiker haben nur Größen eine Wahrscheinlichkeit, die bei wiederholter Versuchsdurchführung unterschiedliche Werte annehmen, wie z. B. die Seite eines Würfels, die nach dem Wurf oben liegt. Größen die das nicht können, haben in deren Interpretation keine Wahrscheinlichkeit. So hat z. B. die Lichtgeschwindigkeit für einen F-Statistiker keine Wahrscheinlichkeit. Sie hat einen festen Wert, der aber nur mit begrenzter Genauigkeit bekannt ist. Man kann die Lichtgeschwindigkeit wiederholt messen. Sie hat aber bei jeder Messung denselben Wert. Was sich ändert, ist lediglich der gemessene Wert, aber nicht der tatsächliche Wert der Lichtgeschwindigkeit.

Für den B-Statistiker hat auch die Lichtgeschwindigkeit selbst eine Wahrscheinlichkeit. Sie ist ein Maß für die Güte, mit der man ihren wahren Wert kennt. Dieses Maß gehorcht denselben Axiomen, auf denen auch die F-Statistik basiert. Die Aussage, die Lichtgeschwindigkeit liegt im Intervall [a, b], hat für den B-Statistiker eine Wahrscheinlichkeit, für den F-Statistiker dagegen nicht. Allgemeiner ist in der B-Statistik die Wahrscheinlichkeit ein Maß für die Plausibilität von Aussagen. Der Ereignisraum der F-Statistik - die Menge der möglichen Ereignisse - wird in der B-Statistik zu einem Aussagenraum - der Menge der möglichen Aussagen. Da man jedes Ereignis aus als Aussage formulieren kann, umfasst die B-Statistik die F-Statistik.

Zitat:
"Eine Grundfrage der B-Statistik ist, wie man die priori-Wahrscheinlichkeiten festlegen soll." - und das ist dann, wie ich b) entnehme, oft die Festlegung, eine Gleichverteilung anzunehmen?

So einfach ist das nur bei Größen, die nur eine endlich Zahl diskreter Werte annehmen können. Bei Größen, deren Wertebereich ein Kontinuum ist, werden auch andere Verteilungen als die Gleichverteilung als priori-Verteilungen verwendet.

Zitat:
Und noch mal ein weitere Beispiel: Im machine learning gibt es den Naive-Bayes-Klassifikator

Darüber habe ich keine Kenntnisse, kann also die Frage nicht beantworten.
 
 
Neue Frage »
Antworten »



Verwandte Themen

Die Beliebtesten »
Die Größten »
Die Neuesten »