richtiges Testverfahren? Rückversicherung

08.05.2005, 11:59

Kauli

richtiges Testverfahren? Rückversicherung

Hallo liebe Geneinde.

Ich habe ein kleines Programm geschrieben, welches mir inhaltliche Angaben zu einem Bild macht. Nun möchte ich überprüfen, ob die Ergebnisse des Programmes gut sind oder nicht. Dazu ein kleines Beispiel damit ihr versteht, was ich meine:

Ich habe dem Programm 150 Bilder übergeben und gefragt, ob diese Bilder bei natürlichem Licht aufgenommen wurde oder nicht. Das Programm hat 86 Bilder zurückgeliefert, die bei natürlichem Licht aufgenommen wurden. Die gesamten 150 Bilder wurden auch schon per Hand beurteilt, wobei 90 Bilder bei natürlichem Licht aufgenommen wurde. Von den 86 Bildern wurden, nach der manuellen Beurteilung, 72 bei natürlichem Licht aufgenommen.

Meine Idee ist nun, mein Programm gegen blindes ziehen zu testen, d.h. ich überprüfe, ob mein Programm ein besseres Ergebnis liefert, als wenn ich (in dem Beispiel) 86 Bilder zufällig ausgewählt hätte.

Entschieden habe ich mich für einen eindimensionalen $\begin{eqnarray*} \chi^2 \end{eqnarray*}$ Test der Form
$\begin{eqnarray*} \chi^2=\sum_{i=1}^2\frac{(f_{b(i)}-f_{e(i)})^2}{f_{e(i)}} \end{eqnarray*}$

wobei ich für $\begin{eqnarray*} f_{b(1)} \end{eqnarray*}$ die Anzahl der richtig erkannten Bilder (in unserm Beispiel 72), für $\begin{eqnarray*} f_{b(2)} \end{eqnarray*}$ die Anzahl der falsch erkannten Bilder (in dem Beispiel 86-72=14 Bilder), für $\begin{eqnarray*} f_{e(1)} \end{eqnarray*}$ die Anzahl der Bilder, die bei blindem Ziehen wohl richtig wären ( $\begin{eqnarray*} f_{e(1)}=86*90/150 \end{eqnarray*}$ , also die Größe der Antwortmenge mal dem Anteil der richtigen Bilder an der Gesamtmenge) und für $\begin{eqnarray*} f_{e(2)} \end{eqnarray*}$ die Anzahl der Bilder, die bei blindem ziehen falsch wären ( $\begin{eqnarray*} f_{e(2)}=86- f_{e(1)} \end{eqnarray*}$ setze. Im Beispiel wäre das

$\begin{eqnarray*} \chi^2= \frac{(72-86 * 90/150)^2}{86 * 90/150}+\frac{(14 - (86 - 86 * 90/150))^2}{86 - 86 * 90/150}=20.16 \end{eqnarray*}$

Da 20.16 größer ist als 6.63 (gerichtete Hypothese, df=1) hätte ich auf 0.5% Niveau gezeigt, das mein Verfahren signifikant besser ist als blindes ziehen. (Wobei noch geschaut werden muss, ob $\begin{eqnarray*} f_{b(1)}> f_{e(1)} \end{eqnarray*}$ und das die beiden Erwartungswerte größer als 10 sind).

Da ich nun seit dem Abitur keine Statistik mehr hatte, wäre meine Frage an die Allgemeinheit, ob ich den oberen Test anwenden darf, ob ich ihn richtig anwende und wenn nicht, ob es ein klügeres Testverfahren gibt.

Gruss
Kauli

(edittippfehler)

09.05.2005, 11:34

Auf diesen Beitrag antworten »

Vierfeldertest
Klare Sache, dein Problem passt 100%ig zum sogenannten Vierfeldertest (auch Vierfeldertafel-Test genannt), sehr gut beschrieben in

http://de.wikipedia.org/wiki/Vierfeldertest

EDIT: Ich sehe gerade, bei der eigentlichen Entscheidungsfindung ist die Seite doch nicht so präzise. Also eine Ergänzung an der Stelle:

Wenn der Wert der Testgröße die Schranke $\begin{eqnarray*} \chi^2_{1,1-\alpha} \end{eqnarray*}$ übersteigt, dann wird die Unabhängigkeitshypothese abgelehnt, d.h., dein Verfahren ist signifikant besser als bloße Zufallsauswahl.

$\begin{eqnarray*} \alpha \end{eqnarray*}$ soll natürlich wie üblich das Signifikanzniveau des Tests sein.

09.05.2005, 15:17

Papam Benedictus XVI.

Auf diesen Beitrag antworten »

RE: richtiges Testverfahren? Rückversicherung
Stimme völlig überein, klassisches Problem der Mathematik und Statistik.

Aber ich frage mich unter Anwendungsgesichtspunkten, ob der bloße Sachverhalt, dass deine Auswahl besser ist als die naive Zufallsauswahl wirklich ein Qualitätskriterium darstellt? Im Zweifel reicht da (eine aussagekräftigere) Angabe, wie 90% Trefferquote doch aus, oder?

09.05.2005, 15:47

4c1d

Auf diesen Beitrag antworten »

RE: Vierfeldertest
Ist es überhaupt "legitim", dem zufälligen (blinden) Ziehen zu unterstellen, dass immer auch genau 86 gezogen werden? verwirrt

bzw. wäre ein zufälliges Ergebnis nicht besser dadurch definiert, dass jedes Bild mit einer gewissen Wahrscheinlichkeit gezogen wird?

Zitat:

Original von Arthur Dent
Wenn der Wert der Testgröße die Schranke $\begin{eqnarray*} \chi^2_{1,1-\alpha} \end{eqnarray*}$ übersteigt, dann wird die Unabhängigkeitshypothese abgelehnt, d.h., dein Verfahren ist signifikant besser als bloße Zufallsauswahl.

D.h. dieser Vierfeldertest testet auf gegenseitige Abhängigkeit/Unabhängigkeit im Gegensatz zum "normalen" $\begin{eqnarray*} \chi^2 \end{eqnarray*}$ -Test, der ja mit gegebenen Erwartungswerten umgeht? Aber warum ist das dann hier sinnvoller als der normale Test, ist die Frage nicht weniger "Besteht gegenseitige Abhängigkeit zwischen den Merkmalen Auswahlverfahren und Trefferquote?" als mehr "Könnte (auf einem bestimmen Niveau) behauptet werden, dem Programm mit gegebener Trefferquote liegt ein Zufallsverfahren zugrunde?" bzw. "Wie stark ähnelt das Programm bezüglich seiner Trefferquote dem Zufallsverfahren?" ?

09.05.2005, 16:37

Auf diesen Beitrag antworten »

RE: Vierfeldertest
@4c1d

Nix Gegensatz:

Wenn du mal in den "normalen" Chiquadrat-Test
http://de.wikipedia.org/wiki/Chi-Quadrat-Test
den Spezialfall m=r=2 einsetzt, dann kommst du beim Vierfeldertest raus. Und die Berechnung der Testgröße ist in der Form doch wirklich angenehmer - oder`etwa nicht? Augenzwinkern

10.05.2005, 11:43

Kauli

Auf diesen Beitrag antworten »

Vielen Dank für den Hinweiss auf den 4-Felder Test. An den habe ich auch gedacht, hab ihn aber verworfen, da er ja für unabhängige Stichproben gedacht ist, ich aber eine Stichprobe 2 Mal untersuche und meine Stichproben somit nicht unabhängig sind. Hab ich da den Begriff der Unabhängigkeit falsch verstanden?

Zitat:

Original von Papam Benedictus XVI.
Stimme völlig überein, klassisches Problem der Mathematik und Statistik.

Aber ich frage mich unter Anwendungsgesichtspunkten, ob der bloße Sachverhalt, dass deine Auswahl besser ist als die naive Zufallsauswahl wirklich ein Qualitätskriterium darstellt? Im Zweifel reicht da (eine aussagekräftigere) Angabe, wie 90% Trefferquote doch aus, oder?

Nun eine 90% Trefferquote hätte bei einem Anteil von 90 % an der Gesamtstichprobe eine andere Qualität als bei einem Anteil von 9%. Um den Anteil des Merkmals an der Gesamtstichprobe in die Überlegung mit einfliessen zu lassen, will ich den Anteil an der Gesamtstichprobe irgendwie einbnden. Deswegen kam ich auf den Erwartungswert.

Zitat:

Original von 4c1d
Ist es überhaupt "legitim", dem zufälligen (blinden) Ziehen zu unterstellen, dass immer auch genau 86 gezogen werden? verwirrt bzw. wäre ein zufälliges Ergebnis nicht besser dadurch definiert, dass jedes Bild mit einer gewissen Wahrscheinlichkeit gezogen wird?
[...]

Ich argumentiere ein bisschen anders. 86 ist die Größe meiner Ergebnisstichprobe (d.h. mein Programm hat 86 Bilder als richtig zurückgegeben). Meine Gesamtstichprobe enthält 150 Bilder von denen 90 Bilder von Hand als richtig beurteilt wurden. Meine Argumentation ist nun, dass, wenn ich 86 Bilder blind aus der Gesamtmenge ziehe, davon im Mittel 86*90/150 Bilder richtig währen.

Es wird bei dieser ganzen Argumentation übrigens auch außer acht gelassen, daß die Menschen, welche die Bilder beurteilt haben, sich natürlich auch irren können.

edit: Dreifachpost zusammengefügt, bitte benutze die edit-Funktion! (MSS)

12.05.2005, 23:24

4c1d

Auf diesen Beitrag antworten »

RE: Vierfeldertest

Zitat:

Original von Arthur Dent
Nix Gegensatz:

Wenn du mal in den "normalen" Chiquadrat-Test
http://de.wikipedia.org/wiki/Chi-Quadrat-Test
den Spezialfall m=r=2 einsetzt, dann kommst du beim Vierfeldertest raus. Und die Berechnung der Testgröße ist in der Form doch wirklich angenehmer - oder`etwa nicht? Augenzwinkern

Sorry, hatte den Beitrag ganz übersehen.
Auf wikipedia wird allerdings auch zwischen Verteilungstest und Unabhängigkeitstest unterschieden - letzterem wäre dann wohl der Vierfeldertest zuzuordnen, während der von Kauli zuerst benutzte Test wohl ein Verteilungstest wäre. Ich würde hier wie gesagt eher zum Verteilungstest tendieren - bin mir aber durchaus nicht sicher, was tatsächlich sinnvoller wäre.

13.05.2005, 10:58

Kauli

Auf diesen Beitrag antworten »

Zitat:

Original von Kauli
[...]

edit: Dreifachpost zusammengefügt, bitte benutze die edit-Funktion! (MSS)

Wenn ich auf 3 verschieden Personen antworte, woraus sich 3 verschiedene Diskussionsstränge entwickeln können, dann halte ich es für sinnvoll, auch 3 Antworten zu schreiben. Und das nächste Mal möchte ich gerne gefragt werden, bevor in meinen Beiträgen rumeditiert wird.

Und vor lauter Ärger hab ich beim ersten Mal auf edit statt auf zitat geklickt unglücklich

Neue Frage »

Antworten »

richtiges Testverfahren? Rückversicherung

Verwandte Themen