Intime bewertende Statistik

06.01.2006, 15:36

kurellajunior

Intime bewertende Statistik

Hallo Ihr lieben Augenzwinkern

Ein System gibt eine Wahrscheinlichkeitsprognose ab über die Existenz eines Objektes. Dieses Objekt kann aber nur existieren, oder nicht. Ich möchte jetzt die Genauigkeit der Vorhersage qualitativ angeben können.

Was meine ich überhaupt? Beispiel, wenn das System immer nur 80% antwortet und in etwa 80% der Fälle stimmt die Vorhersage, dann ist mein System ziemlich exakt. Leider sagt mein System aber immer etwas anderes und ich kann nur sagen, stimmt oder stimmt nicht.

Wie kann ich aus den Wertepaaren $\begin{eqnarray*} (p|ex) \end{eqnarray*}$ mit $\begin{eqnarray*} 0\leq ex\leq 1 \end{eqnarray*}$ und $\begin{eqnarray*} ex=\{0;1\} \end{eqnarray*}$ die Genauigkeit des Systems bestimmen?

Ich erinnere mich dunkel, dass wir in der Schule eine Möglichkeit hatten anzugeben in welchem Bereich um die gegebene Größe 90% der tatsächlichen Werte liegen - so mit Gauß. Das bräuchte ich jetzt als Funktion der vom System geschätzten Größe.

Hat jemand verstanden, was ich meine?

Jan

06.01.2006, 15:40

Auf diesen Beitrag antworten »

Nicht so richtig...

Klingt aber irgendwie nach Konfidenzintervallen. verwirrt

06.01.2006, 15:46

kurellajunior

Auf diesen Beitrag antworten »

Das hatte ich befürchtet ich versuch mal ein besseres Beispiel. Gegeben sind immer Wertepaare. Der erste Wert ist der errechnete Wahrscheinlichkeitswert, mit dem das Ereignis auftreten soll. Der zweite Wert gibt an, ob das Ereignis aufgetreten ist.
Edit:Der erste Wert ist der errechnete Wahrscheinlichkeitswert, mit dem ein Ereignis auftreten soll. Der zweite Wert gibt an, ob dieses Ereignis tatsächlich aufgetreten ist.
[latex](80;1)\,(60;0)\,(90;1)\,(30;1)\,(40;0)\,(10;0)\,(70;1)\,(50;1)\,[
/latex]
Ich will jetzt wissen, wie gut die Vorhersagen des Systems sind. Klar bei 200.000 Wertepaaren, die halbwegs gleichmäßig über die Werte 0-100 verteilt sind wäre das kein Problem - da könnte ich jeden Prozentpunkt einzeln berechnen. Hab ich aber nicht. Wie geht das mit verschiedenen Prozentwerten?

Und vor allem qualitative Aussagen über solche Vorhersagen, welche Form haben die?

Jan

06.01.2006, 16:11

Auf diesen Beitrag antworten »

Wenn $\begin{eqnarray*} p_i \end{eqnarray*}$ die Vorhersage des Wertes $\begin{eqnarray*} x_i \end{eqnarray*}$ sein soll, dann ist für dein Szenario z.B.

$\begin{eqnarray*} f(p,x) := \sum_{i=1}^n ~ V(|p_i-x_i|)\qquad (*) \end{eqnarray*}$

mit irgendeiner streng monoton wachsenden Funktion $\begin{eqnarray*} V: \mathbb{R}_+ \to \mathbb{R}_+ \end{eqnarray*}$ mit $\begin{eqnarray*} V(0)=0 \end{eqnarray*}$ als Bewertungsfunktion geeignet.

Eine Vorhersage $\begin{eqnarray*} p \end{eqnarray*}$ ist dann umso besser, je kleiner $\begin{eqnarray*} f(p,x) \end{eqnarray*}$ . Die Wahl von $\begin{eqnarray*} V \end{eqnarray*}$ ist reine Willkür, solange du keine genaueren Wünsche hast.

Die Statistiker nehmen natürlich gern $\begin{eqnarray*} V(x)=x^2 \end{eqnarray*}$ (Stichwort: Varianz), aber zwingend ist das nicht - rechnet sich bloß schön. Augenzwinkern

06.01.2006, 16:50

kurellajunior

Auf diesen Beitrag antworten »

mmh. Da mein x nur die Werte 1 und 0 annehmen kann, wird das also ein ziemlich großer Wert, mmh.

Außerdem prüft der ja die Genauigkeit über das ganze Spektrum ab... Wenn ich genug werte habe, könnte ich dann auch nur einen Teil aufsummieren, um ein Ergebnis für zB den Bereich 0-25% zu erhalten?

Das Problem ist, dass die Qualität des Wertes abhängig von der Menge der Testwerte ist. Lieber wäre mir eine Möglichkeit eine Aussage der Form

Zitat:

Wenn das System 75% schätzt liegt die tatsächliche Wahrscheinlichkeit in 95% der Fälle im Bereich 71% - 78%

Geht so etwas? Oder zumindest eine Einschätzung, die Unabhängig von der Menge der Testwerte ist.

*denk*
Kann ich dazu einfach $\begin{eqnarray*} f(p,x) := \frac{\sum_{i=1}^n ~ V(|p_i-x_i|)}{n} \end{eqnarray*}$ bilden? Wozu ist eigentlich das Sternchen?

Jan

06.01.2006, 17:20

Auf diesen Beitrag antworten »

Zitat:

Original von kurellajunior
mmh. Da mein x nur die Werte 1 und 0 annehmen kann, wird das also ein ziemlich großer Wert, mmh.

Wieso? 71% heißt natürlich $\begin{eqnarray*} p_i=0.71 \end{eqnarray*}$ .

(Entschuldige, wenn ich dich jetzt mit dieser Antwort beleidigt habe, aber deine Erwiderung klang danach, als ob du da tatsächlich $\begin{eqnarray*} p_i=71 \end{eqnarray*}$ eingesetzt hättest.)

EDIT: Das (*) war dran, weil ich später drauf Bezug nehmen wollte, mir das dann aber später anders überlegt hatte.

06.01.2006, 17:44

kurellajunior

Auf diesen Beitrag antworten »

Zitat:

Original von Arthur Dent

Zitat:

Original von kurellajunior
mmh. Da mein x nur die Werte 1 und 0 annehmen kann, wird das also ein ziemlich großer Wert, mmh.

Wieso? 71% heißt natürlich $\begin{eqnarray*} p_i=0.71 \end{eqnarray*}$ .

Nene, ich meinte schon x. Und mit groß meinte ich deutlich über 1... Weil ich doch eigentlich - vom Gefühl her - nach einem Prozentwert gesucht habe.

Mit dem Beispiel von oben ergibt das:
$\begin{eqnarray*} (80;1)\rightarrow 0{,}2 \\ (90;1)\rightarrow 0{,}3 \\ (30;1)\rightarrow 1{,}0 \\ (40;0)\rightarrow 1{,}4 \\ (10;0)\rightarrow 1{,}5 \\ (70;1)\rightarrow 1{,}8 \\(50;1)\rightarrow 2{,}3 \\ (60;0)\rightarrow 2{,}9 \end{eqnarray*}$

Wenn ich ein Beispiel mit ebenfalls 8 Paaren nehme, aber alle mit 50% und tatsächlich 4 Treffer erhalte ich $\begin{eqnarray*} 4{,}0 \end{eqnarray*}$ Aber diese Vorhersagen wären wesentlich genauer. Das Stimmt also so noch nicht, Menno...

Edit: Es sit sogar egal, wie die Treffer aussehen es erbigt immer 4,0. Ohne jede differenzierbare Qualität... Dat geht so nicht.

Jan

PS: $\begin{eqnarray*} V(x)=x \end{eqnarray*}$ Aber es lässt sich wohl für viele Funktionen der "Egalpunkt" finden...

06.01.2006, 18:14

Auf diesen Beitrag antworten »

Wir reden aneinander vorbei, das merke ich jetzt erst. Du willst also, dass jedes einzelne $\begin{eqnarray*} p_i \end{eqnarray*}$ ein möglichst guter Schätzwert für den Mittelwert

$\begin{eqnarray*} \bar{x} = \frac{1}{n} \sum_{k=1}^n ~ x_i \end{eqnarray*}$

aller Werte $\begin{eqnarray*} x_i \end{eqnarray*}$ sein soll. Ich bin aber davon ausgegangen, dass $\begin{eqnarray*} p_i \end{eqnarray*}$ nur schätzen soll, ob $\begin{eqnarray*} x_i=1 \end{eqnarray*}$ ist. So habe ich

Zitat:

Original von kurellajunior
Gegeben sind immer Wertepaare. Der erste Wert ist der errechnete Wahrscheinlichkeitswert, mit dem das Ereignis auftreten soll. Der zweite Wert gibt an, ob das Ereignis aufgetreten ist.

zumindest klar aufgefasst.

Meine Bewertungsfunktion ergibt 0, wenn du jeden Treffer vorher mit 100% vorhergesagt hast, und genauso keinen Treffer mit 0% vorhergesagt hast - so muss es auch sein, nach meiner Interpretation. Je weiter weg du bist - dich also mit deinen Prozentzahlen nicht deutlich äußerst, bist du schlechter. Wenn du überall nur 50% sagst, entscheidest du dich gar nicht für wahr oder falsch und bist bei 4 (bei n=8), egal wie das Ergebnis aussieht. Genauso habe ich es erwartet.

Aber ungenaue mathematische Formulierungen aus Berlin bin ich in letzter Zeit ja gewohnt (Matheon)... Teufel

06.01.2006, 19:01

kurellajunior

Auf diesen Beitrag antworten »

Zitat:

Original von Arthur Dent
Wir reden aneinander vorbei, das merke ich jetzt erst. Du willst also, dass jedes einzelne $\begin{eqnarray*} p_i \end{eqnarray*}$ ein möglichst guter Schätzwert für den Mittelwert

$\begin{eqnarray*} \bar{x} = \frac{1}{n} \sum_{k=1}^n ~ x_i \end{eqnarray*}$

aller Werte $\begin{eqnarray*} x_i \end{eqnarray*}$ sein soll.

Nicht böse mit mir sein

http://forum.web-z.net/images/smilies/tutmirleid.gif

Das ist es auch noch nicht ganz. Vielleicht nochmal mit Leben füllen:
Ich werde eine (mehrere) Formeln haben, die berechnen werden, ob ein vorher bestimmtes Ereignis eintrifft oder nicht. Dieses und genau dieses Ereignis kann aber nur einmal eintreten oder nicht - das macht die Wiederholung, um zu rüfen, ob die Formel gut rechnet so schwierig. Ich erhalte also immer eine Schätzung und danach die Gewissheit. Wenn ich das System aber für Prognosen verwenden will, muss ich vorher wissen, wie verlässlich die Vorhersage ist.
Also wenn das System 90% vorhersagt und ich (nach 2 Millionen Anwendungen) feststelle, dass nur in 50% der Fälle (statt 90%) die Vorhersage stimmte, dann ist das System schlecht.

Ich suche jetzt nach einer Möglichkeit, diese Zuverlässigkeit der Vorhersage qulitativ zu erfassen und zu bennennen um zB. verschiedene Funktionen zu vergleichen, oder gar zu kombinieren. (zB. Ist die eine Funktion im unteren Prozentbereich zuverlässig, die andere im oberen etc.)

Jetzt verständlich, was ich meine?

Jan

06.01.2006, 19:14

Auf diesen Beitrag antworten »

Wenn es nur um ein Ereignis geht, warum schätzt du dann nicht nur einmal die Wkt $\begin{eqnarray*} p \end{eqnarray*}$ seines Eintretens, sondern gleich $\begin{eqnarray*} n \end{eqnarray*}$ -mal - welchen Sinn soll das haben (außer vielleicht im zeitlichen Sinne "adaptiv",d.h., mit immer besserer Kenntnis des Systems)? Das kommt mir vor wie ein Student, der in der mündlichen Prüfung bei sich ausschließenden Antwortmnöglichkeiten trotzdem mehrere zum besten gibt. Bei manchen Professoren klappt das, ich habe aber auch welche erlebt (als Beisitzer Augenzwinkern

), die darauf äußerst gereizt reagieren...

Ich verstehe den ganzen (Un-)Sinn des Systems nicht, das gebe ich zu.

06.01.2006, 20:21

kurellajunior

Auf diesen Beitrag antworten »

Oh, mann ist das kompliziert.

Nein es ist immer ein anderes Ereignis. die ABfrage auf das selbe Ereignis würde immer die selbe Wahrscheinlichkeit ergeben und auch immer würde das Ereignis genauso eintreten oder nicht.

Ok, vielleicht so: Das Programm erhält einige Informationen (Name, Vorname) über ein Objekt (Mensch) und überrüft nun, ob das so (nicht eindeutig) beschriebene Objekt (der Mensch) in einem Dokument erwähnt wird. Dazu wendet es einen (zB. von mir entwickelten) Algorithmus an und gibt eine Wahrscheinlichkeit an, mit der das angegebene Objekt (also der Mensch) in dem Dokument vorkommt. Ich kann dann lesen und herausfinden, ob der Mensch tatsächlich erwähnt wird.

Das mache ich mit vielen Menschen und vielen Dokumenten und überprüfe, wie gut die Vorhersagen sind um zu ermitteln wie sicher mein Algorithmus ist. Ich brauche keine 100% / 0% Vorhersage, aber die Schätzung sollte stimmen, ääh jetzt verständlicher?

Jan

06.01.2006, 20:27

Auf diesen Beitrag antworten »

Dann verstehe ich nicht, wieso du in dem Beitrag

Intime bewertende Statistik

meinst, dass überall 50% mit Ergebnis f(p,x)=4 besser sein soll als der von dir zuerst angegebene p-Vektor mit dann f(p,x)=2.9. unglücklich

Zitat:

Original von kurellajunior
Wenn ich ein Beispiel mit ebenfalls 8 Paaren nehme, aber alle mit 50% und tatsächlich 4 Treffer erhalte ich $\begin{eqnarray*} 4{,}0 \end{eqnarray*}$ Aber diese Vorhersagen wären wesentlich genauer. Das Stimmt also so noch nicht, Menno...

EDIT: Ok, ich komme zu meiner ersten Variante zurück, von mir aus jetzt normiert:

$\begin{eqnarray*} f(p,x) := \frac{1}{n}\sum_{i=1}^n ~ V(|p_i-x_i|) \end{eqnarray*}$

Und deine Argumentation dagegen in dem erwähnten Beitrag oben lehne ich jetzt nach genauerer Kenntnis des Systems rundweg als falsch ab.

06.01.2006, 20:55

kurellajunior

Auf diesen Beitrag antworten »

*denk*

Neue Frage »

Antworten »

Intime bewertende Statistik

Verwandte Themen