wahrscheinlichkeitsprognosen beurteilen

Neue Frage »

matthilda Auf diesen Beitrag antworten »
wahrscheinlichkeitsprognosen beurteilen
hallo!

wie kann man prognostizierte wahrscheinlichkeiten testen? beispiel: ein wetterdienst prognostiziert für jeden folgetag eine gewisse regenwahrscheinlichkeit. wenn man eine grosse zahl solcher prognosen hat und auch weiss, ob es jeweils geregnet hat oder nicht, wie kann man dann die prognosegüte berechnen? irgendwie tappe ich total im dunkeln!

bin für jede anregung dankbar!

ps: hoffe ich bin hier richtig. kann nicht einschätzen, ob das schüler oder studentenniveau ist.
matthilda Auf diesen Beitrag antworten »

kann es sein, dass man die sache ganz einfach durch korrelation lösen kann? also zwischen der prognostizierten wahrscheinlichkeit und dem eingetretenen ergebnis (0=trocken; 1=niederschlag). es würde halt bedeuten, dass es, wegen der unterschiedlichkeit der möglichen werte in den beiden reihen, nie zu einer korrelation von 1 oder -1 kommen könnte. aber vielleicht könnte man durch monte carlo simulation die möglichen extremwerte bestimmen (oder auch durch eine formel, wenn man ein mathegenie ist)? und dann vielleicht dadurch eine anpassung der korrelationsskala vornehmen. so was wie normierung oder so?
hoffe ich red keinen unsinn. kenn mich nicht aus mit mathe. aber so lange sich kein experte meldet, kann ich ja ruhig ein wenig rumspinnen. ;-)
Iridium Auf diesen Beitrag antworten »

Hallo, hört sich nach einer interessanten Fragestellung an :-). Hier mal meine Ideen dazu (bin übrigens selbst Naturwissenschaftler, kein "echter" Mathematiker)

Ein ganz grobes Maß könnte man vielleicht erhalten, wenn man eine Grenze der Wahrscheinlichkeit, z.b. 50%, bestimmt, ab der eine Prognose Regen vorhersagt. D.h. man macht aus der Fragestellung ein diskretes Problem. Dann zählt man die Tage, bei denen Vorhersage und Resultat übereinstimmen (d.h. p < 50% und kein Regen bzw. p > 50% und Regen) und bezieht das auf alle Tage des Untersuchungszeitraums.

Wenn das zu grob ist, könnte man versuchen die Ergebnisse jeweils mit der prognostizierten Wahrscheinlichkeit zu gewichten, denn man will ja vermutlich einen umso schlechteren Gütefaktor erhalten, je größer die Abweichung zwischen Prognose und Resultat ist. Wenn es nur um die Richtigkeit geht, könnte man vielleicht so verfahren: Angenommen man nimmt eine Prognose von 60% Regen an, dann bedeutet das gleichzeitig eine Prognose für 40% Nichtregen. Je nachdem welcher Fall tatsächlich eintritt berücksichtigt man den entsprechenden Wert für die Richtigkeit. Regnet es also, war die Prognose zu 60% richtig, regnet es nicht, sind es 40% Richtigkeit gewesen. Dies macht man für alle Werte und bildet den Mittelwert. Der Vorteil bei diesem Verfahren wäre, daß Prognosen mit hohen Prozentwerten sich bei Eintreten des prognostizierten Falles besonders stark positiv niederschlagen, und bei Nichteintreten besonders stark negativ. Insofern denke ich, daß das Verfahren eine ganz gute Trennschärfe haben könnte?

Na ja, wenig mathematisch, aber vielleicht ganz anregend für weitere Überlegungen...das Problem besteht denke ich vor allem darin, daß du Wahrscheinlichkeiten auf der einen Seite mit sicheren Ergebnissen (1 = es regnet, 0 = es regnet nicht) verbinden musst. Das erinnert mich an "Fuzzy-Logik" (mal bei Wikipedia nachschauen, falls es dir noch nichts sagt)...vielleicht kann dir auf dem Gebiet aber jemand anderes mehr erzählen...
matthilda Auf diesen Beitrag antworten »

danke für deinen beitrag!

ich hab das gefühl, wir sind relativ nah beieinander. ein bisschen skeptisch bin ich bei deinem wechsel zwischen p und 1-p. die intention dahinter hab ich verstanden, aber ich bin mir nicht sicher, ob man das "darf". ich könnte mir vorstellen, dass dadurch eine (eventuell vorhandene, ich hab keine ahnung) lineare beziehung zwischen der kennzahlenskala und der ähnlichkeit der zahlenreihen verloren geht.

grundsätzlich bleibt aber das problem der interpretation der gütekennzahl. sie wäre auf jeden fall nur von relativer bedeutung. also man könnte damit herausfinden, welcher wetterdienst die besten prognosen macht (deine trennschärfeidee könnte hier vielleicht von vorteil sein), aber man wüsste nicht, wie der "stand der technik" absolut einzuordnen ist. also können die das wetter wirklich brauchbar vorhersagen oder verändern sie, durch den enormen stromverbrauch ihrer rechenzentren, in erster linie signifikant das klima? (spässle gmacht! ;-))
gerade in dem zusammenhang könnte man vielleicht der oben u.u. verlorengegangen linearität der skala hinterhertrauern.
matthilda Auf diesen Beitrag antworten »

mit deinem fuzzy logik vorschlag kann ich im moment nicht so viel anfangen. hab vor ewigen zeiten mal ein buch drüber gelesen. soll das die, anfangs von dir vorgeschlagene, treppenfunktion zur diskretisierung ersetzen?
Iridium Auf diesen Beitrag antworten »

Genau...mit fuzzy-Logik (sofern man sie bei deinem Problem sinnvoll anwenden kann) soll die Komplexität deines Problems besser erfasst werden, wohingegen der erste Vorschlag das Problem auf ein diskretes Problem herunterbricht, insofern einerseits einfach zu behandeln und nachvollziehen ist, dafür aber möglicherweise den Kern der Problematik nicht beschreiben kann...Je nachdem, was man sich eigentlich von einer solchen Kennzahl verspricht, kann es ja ganz unterschiedliche Lösungen geben...will man nur einen Indikator, der den Trend wiedergibt, kann man vielleicht recht grobe Vereinfachungen treffen, will man jedes Detail nachvollziehen/vorhersagen können, muß man vermutlich schon bei der Definition des Parameters mehr Aufwand investieren.

Zum vorhergehenden posting:

Pragmatisch wie ich bin, "darf" man erst mal alles. Man definiert sich ja, was man darf. Natürlich kann eine solche Definition, wie von dir angesprochen, Schwächen haben und im Hinblick auf bestimmte Details unvollständig sein. Aber eine halbgare Lösung ist aus Sicht des Anwenders besser als gar keine (auch wenn reine Mathematiker bei solchen Aussagen oft das Grausen packt). Musst du entscheiden, ob eine Schwäche existiert und wie man das diskutiert. Im Zweifelsfall sehe ich persönlich kein Problem damit, solange man explizit angibt, wie man vorgeht und eventuell selbst erkannte Schwächen offen benennt. Ansonsten sind aber auch andere dann in der Lage Schwächen, an die man selbst nie gedacht hat, zu erkennen bzw. auch Stärken der Modellierung aufzugreifen und vielleicht in einer Richtung weiterzuentwicklen, die man selbst nicht gesehen hat. Dient also auch halbrichtig dem wissenschaftlichen Fortschritt.
Wenn der Parameter gut für eine Vorhersage etc. geeignet ist, und dafür andere Eigenschaften, wie Linearität, verloren gehen...ist das auch ok. Ist sowieso fast alles eine Näherung, was man bei der Beschreibung der Natur verwendet. Was die absolute Gütezahl betrifft würden sich am Besten experimentelle Daten eignen, die zu unterschiedlichen Zeiten unter denselben Meßbedingungen am gleichen Ort erhoben wurden. Wenn sich hier eine Verbesserung zeigt, sollte man annehmen dürfen (unter bestimmten Voraussetzungen natürlich), daß sich der allgemeine Stand der Wissenschaft ähnlich gut verbessert hat. Sollte bei Verwendung einer anderen Methode ein anderer, z.B. flacherer Kurvenverlauf ergeben, dann kann man mit einiger Sicherheit sagen, daß es die methodischen Unterschiede sind, die das verursachen und daß eine Methode der anderen auch absolut überlegen ist. Aber egal wie, wichtig ist aus meiner Sicht, daß man eine klare Definition entwickelt und diese in ihrem zu überprüfenden Gültigkeitsbereich verwendet, weil es einem so sinnvoll erscheint. Kritiker müssen es erstmal besser machen.
 
 
matthilda Auf diesen Beitrag antworten »

Zitat:
Was die absolute Gütezahl betrifft würden sich am Besten experimentelle Daten eignen, die zu unterschiedlichen Zeiten unter denselben Meßbedingungen am gleichen Ort erhoben wurden.

sorry, leider verstehe ich nicht wirklich was du damit und im folgenden meinst. was für experimente und welche messungen?
Iridium Auf diesen Beitrag antworten »

Vielleicht habe ich mich mißverständlich ausgedrückt. Wenn ich von "Experimenten" sprach, dann meinte ich damit, daß man versuchen kann etwas über die absolute Genauigkeit herauszufinden, indem man einen Standard definiert und Meßreihen vergleicht. Z.B.

Wetterdienst 1 mit Methode A und Randbedingungen [latex] \alpha [latex] macht zu den Zeitpunkten a, b, c, d... jeweils eine bestimmte Prognose

Wetterdienst 2 benutzt ebenfalls A aber andere Randbedingungen [latex] \beta [latex] und macht daher zu denselben Zeitpunkten a, b, c, d... jeweils eine leicht andere Prognose

Wetterdienst 3 benutzt Methode B aber Randbedingungen [latex] \alpha [latex]...

Wetterdienst 4 benutzt sowohl eine neue Methode C als auch andere Randbedingungen [latex] \gamma [latex]...

usw.

Demgegenüber stehen für alle Prognosewerte dieselben eingetretenen Ereignisse (Regen/Nichtregen). Und relativ dazu kann man die Güte der Prognosen aller Wetterdienste vergleichen, wobei man durch die Art, wie sich Parameter austauschen auch etwas zur Güte der Methode, zur Richtigkeit der Randbedingungen etc. sagen kann.

Noch einmal andersherum gesagt: Du mußt prüfen, ob die Datenlage von der Menge oder der Art her ausreicht oder geeignet ist, um die von dir gewüschte Kennzahl zu stützen und nicht-triviale Zusammenhänge aufdecken zu können. Wenn sich ein Problem mathematisch schwierig angehen lässt, liegt es häufig genug daran, daß das Problem nicht genug "Struktur" besitzt, um Schlüße zu ziehen, Postulate aufzustellen und zu prüfen etc. Angenommen du kennst nur eine Prognose aufgrund einer Methode und einem Satz von Randbedingungen, dann wird es schwierig aufgrund der Richtigkeit der Prognosen Aussagen zur absoluten Richtigkeit der Methode usw. zu treffen. Etwas, was man meiner Meinung nach Klimaforschern zum Teil vorwerfen kann. Wenn man immer nur "innerhalb" seines Modells rechnet, sind Aussagen "über" das Modell nicht unbedingt möglich. Diese Ebenen sind aber zu trennen, sonst drohen sinnlose Aussagen und logische Widersprüche aller Art.
Iridium Auf diesen Beitrag antworten »

aussehen und ich sollte entweder die Vorschau benutzen, oder mich endlich mal hier anmelden :-)
matthilda Auf diesen Beitrag antworten »

ach so, ok. wobei ich das aus einem externen blickwinkel betrachte. für mich ist der wetterdienst eine blackbox. ich könnte mir vorstellen gegen naive prognosemethoden, wie zb. "morgen wirds wie es heute war", zu testen. wobei mich aber trotzdem vor allem die absolute einordnung der prognosefähigkeit interessiert.
Iridium Auf diesen Beitrag antworten »

Hmm...so betrachtet glaube ich fast, daß es kaum möglich ist, eine wirkliche Aussage über die absolute Prognosegenauigkeit zu treffen. Wer sagt dir denn, daß nicht sämtliche Prognosen aus zufälligen Gründen richtig waren (ok, das ist bei einer großen Anzahl an Vergleichswerten vielleicht relativ unwahrscheinlich, aber strenggenommen nicht unmöglich). Philosophisch betrachtet ist es eigentlich nur möglich die Falschheit der Prognosen wirklich nachzuweisen. Na ja...vielleicht sollte man es mit Mark Twain halten...sinngemäß...Prognosen sind schwierig, besonders wenn sie die Zukunft betreffen...:-)

Gruß
matthilda Auf diesen Beitrag antworten »

vielen dank für deine bemühungen! für eine wissenschaftstheoretische diskussion über die existenzberechtigung von statistischen testmethoden bin ich nicht die kompetente gesprächspartnerin. ich hoffe dein posting führt nicht zu einer entlassungs- und/oder gar suizidwelle in der statistikbranche. ;-)
eigentlich dacht ich das wird hier eine schnelle angelegenheit. irgendwer nennt mir einen standardtest, oder wie man das prob in ein, für einen solchen, adäquates überführen könnte.
aber auch die anderen populären matheforen scheinen in erster linie nachhilfeorientiert zu sein, und mein problem offensichtlich off topic bezüglich der lehrpläne.
ich werd mein glück mal in einem speziellen statistikforum suchen. da sind zwar weniger leute, aber dafür hoffentlich alles ein wenig praxisnäher.
war aber wirklich interessant sich mit dir zu unterhalten. schönes we!
Neue Frage »
Antworten »



Verwandte Themen

Die Beliebtesten »
Die Größten »
Die Neuesten »