Stichprobe auf Wahrscheinlichkeit dass mehr als 90% Eigenschaft besitzen

09.03.2011, 19:36	Thommi24	Auf diesen Beitrag antworten »
Stichprobe auf Wahrscheinlichkeit dass mehr als 90% Eigenschaft besitzen Hallo, Ich mache momentan eine statistische Analyse, die Fakten: Also ich habe eine Grundmenge von 10 000 Dokumenten (pro Woche). Diese scanne ich rein, bei einem geringen Teil erkennt die OCR-Software das Dokument nicht richtig, und es muss als fehlerhaft angesehen werden. Die OCR-Software wurde von mir programmiert. Ich will nun eine gewisse Mindestqualität garantieren, das heisst: Mindestens 90% der reingescannten Dokumente soll richtig sein. Bisher hat die Software bei 10000 Dokumenten noch 2000 fehlerhafte Dokumente gehabt. Dies soll nun verbessert werden. Da es unmöglich ist, diese Dokumente IMMER alle einzeln auszuwerten, muss ich ab nun eine Stichprobe machen. 1. Die Frage ist nun Folgende: Wie groß muss die Stichprobe sein, damit man zunächst sagen kann, dass diese repräsentativ wäre, die anderen Dokumente zu erklären (und zumindest 90% der Dokumente richtig eingescannt wurden)? Also Hypothse H0: Mindestens 90% der eingescannten Dokumente sind korrekt eingescannt (basierend auf einer zufällig gewählten Sichprobe). Alpha sollte: 0,05 sein. Ich habe mir http://www.matheboard.de/archive/17289/thread.html angeschaut, die Formel von Papam Benedictus XVI ist zwar teilweise hilfreich, lässt aber am Ende einige Fragen offen: Warum wird die größtmögliche Abschätzung 0,25 gewählt (basiert diese auf der Formel P(1-P))? Die nachfolgende Ableitung mit dem Fehlerquotient ist sehr verwirrend, wie sollte man dort überhaupt auf ein Intervall mit einer Grenze von über 5% kommen? Diese Fragen wären jedoch nicht wichtig, wenn jemand einen anderen Weg kennt. Vielen Dank, Thomas!
10.03.2011, 01:08	Zellerli	Auf diesen Beitrag antworten »
Das was du machen willst, führt auf dem ersten Blick nicht zu der Abschätzung, wie sie im verlinkten Thread betrieben wird. 1. (vorne weg) Wenn du mit $\begin{eqnarray} \alpha \end{eqnarray}$ ansetzt und es klein halten willst, hälst du die Wahrscheinlichkeit klein zu behaupten dein Programm bringt mehr als 10% Ausschuss, obwohl es weniger als 10% bringt. Das wäre aber kein Beinbruch für die potentiellen Abnehmer (für dich schon eher). Der Beinbruch ist zu behaupten, dein Programm schaffe weniger als 10% Ausschuss, liefert in Wahrheit aber mehr. Das ist der Fehler zweiter Art: Die Alternativhypothese liegt vor, du entscheidest aber, dass die Nullhypothese vorliegt. 2. Repräsentativ ist erstmal jede Stichprobe. Du kannst auch mit einer 22er Stichprobe mit der Entscheidungsregel "Wenn es genau 0 fehlerhafte Dokumente sind, unterstelle ich weniger als 10% Ausschuss" mit über 90%iger Sicherheit diese Aussage richtiger Weise treffen, denn $\begin{eqnarray} B(n=22;k=0;p=0,1)\approx 0,098 \end{eqnarray}$ . Aber dann ist eine Entscheidung dafür, dass dein Programm zu viel Ausschus produziert in über 90% der Fälle ungerechtfertigt. Diese Methode wäre gut anwendbar, wenn du deine Ausschussquote deutlich unter der erlaubten Grenze liegt, weil du dann selten die Nullhypothese zu unrecht verwirfst, weil du sie überhaupt selten verwirfst. 3. Deswegen wäre es wohl zielführender, wenn du, wie in deinem verlinkten Beitrag, dazu übergehst die Ausschussquote möglichst genau zu schätzen. Wenn es dir zum Beispiel reicht, dass deine Ausschussquote zu 90% bei $\begin{eqnarray} x \pm 1% \end{eqnarray}$ liegt, musst du ein entsprechendes Konfidenzintervall basteln. Dabei kannst du Binomialverteilung annehmen wegen der Unabhängigkeit der Dokumente und der gleichen "Trefferwahrscheinlichkeit" und mit ausreichender Stichprobengröße sollte dann auch $\begin{eqnarray} npq > 9 \end{eqnarray}$ für die Normalverteilung erfüllt sein. Und somit folgt die Formel, die der Papst gepostet hat. Ja, die 0,25 basieren auf der von dir genannten Formel (kürze den Bruch mit Gewalt um $\begin{eqnarray} \theta(1-\theta) \end{eqnarray}$ und würdige anschließend den Summanden im Nenner, der dann als Faktor den Kehrwert dieses Terms enthält, nach seinem Beitrag zum gesamten Bruch (vor allem beachten, dass alles positiv ist). Das heißt die 0,25 stellen die pessimistischste Abschätzung für den Stichprobenumfang dar. Im Beitrag danach zielt der Papst auf einen besseren Wert statt der Abschätzung ab. Hierzu müsste man jedoch die Standardabweichung $\begin{eqnarray} N \theta (1- \theta) \end{eqnarray}$ aus der Stichprobe schätzen. Das geht mit der korrigierten Stichprobenvarianz. Was du mit "der Ableitung mit dem Fehlerquotient" meinst, verstehe ich leider nicht
10.03.2011, 18:45	Thommi24	Auf diesen Beitrag antworten »
Vielen Dank schon mal bis hierhin! Genau Punkt 3 macht mir Probleme. Auf welchen Daten wurde das Konfidenzintervall denn gebildet? Man errechnet ein Konfidenzintervall von 1,1 bis 3,1%, basierend auf einem Wert von 2,1%. Wo kommt der "Stichprobenanteilswert" von 2,1% her? Ist das NUR der Wert, den der Erstposter (Jean25) errechnet hat als Fehlerquotient? Und dann jeweils 1% wegen der Symmetrie in beide Richtungen? Ich dachte der Fehlerquotient wäre dort falsch berrechnet? Ich rechne mal mein Beispiel durch: alpha = 0,05, z somit 1,96 N = 10000 Oberhalb des Bruchstrichs ergäbe dies: 1,96²0,2510000 Unterhalb des Bruchstrichs: Wählbarer Unsicherheitsbereich²9999+1,96²(0,25) Der wählbare Unsicherheitsbereich ergibt sich aus dem Konfidenzintervall, in wie weit kann ich dort welche Werte zugrunde legen, ohne dass dies schon in Willkür endet? Irgendwo muss ja auch die Anzahl der Fehler in der Stichprobe berücksichtigt werden. Das muss doch in diesem Unsicherheitsbereich spielen? Wenn ich nun das Resultat habe (nach Feststellung des Unsicherheitsbereiches), zum Beispiel n müsste mindestens 50 sein: könnte ich also mit einer Sicherheit von 99%??? sagen, dass in allen Schreiben der Fehlerquotient zwischen x% und y% liegt? Übersteigt dann der Fehlerquotient bei x% oder y% die 10%-Marke, wäre also nicht mehr zu garantieren, dass mindestens 90% der Scans ohne Fehler sind? Nochmals vielen Dank an alle Helfenden!
12.03.2011, 11:31	Thommi24	Auf diesen Beitrag antworten »
Bis jetzt leider noch niemand da, der mir da am Ende der Rechnung weiterhelfen könnte? Danke bis jetzt an alle.
12.03.2011, 17:24	Zellerli	Auf diesen Beitrag antworten »
Ja, das passt so alles. Der Wert 2,1% spielt überhaupt keine Rolle für die Berechnung der Stichprobengröße. Die einzige Voraussetzung ist: Man nimmt Normalverteilung an (das geht bei einer ausreichend großen Zahl (und ausreichend "großen" Wahrscheinlichkeiten) unabhängiger, identischer Einzelexperimenten mit zwei möglichen Ausgängen. Und die einzigen Vorgaben sind dann nur noch: Wie groß ist meine Grundgesamtheit? Wie eng ist mein Konfidenzintervall? Wie hoch ist mein Signifikanzniveau? Dann kommt zum Beispiel raus: Ziehe mindestens 1000mal (das ist $\begin{eqnarray} n \end{eqnarray}$ ). Der "echte" Anteilwert, also der der Grundgesamtheit liegt dann zu 95% oder 99% (Hier ist $\begin{eqnarray} \alpha \end{eqnarray}$ entscheidend) im Intervall mit dem Radius 1% oder 5% (hier ist das Konfidenzintervall entscheidend) um deinen Stichprobenanteilswert. Dieser Wert war im anderen Thread eben 2,1. Bei dir kann da 8% rauskommen oder 18% oder sonstwas. Weil ich vermute, dass bei dir da eine durchaus dicker Stichprobenumfang herauskommen kann, empfehle ich dir die Varainz (habe das im Post vorher falscher Weise Standardabweichung genannt) $\begin{eqnarray} N \theta (1- \theta) \end{eqnarray}$ anhand einer ersten Stichprobe mit der korrigierten Stichprobenvarianz zu verkleinern (denn sie ist bei dir definitiv nicht $\begin{eqnarray} N \cdot 0,25 \end{eqnarray}$ , was du aber als Größtabschätzung ansetzt).
12.03.2011, 18:06	Thommi24	Auf diesen Beitrag antworten »
Herzlichen Dank für diese ausführliche Erklärung. Habe dank dir meine Testbeispiele nun erfolgreich ausrechnen können, und kann die einzelnen Werte nun richtig einordnen und erklären. Stochastik liegt bei mir leider dann doch schon einige Jahre zurück, mittlerweile ist durch das Einlesen in die Materie doch einiges wieder da. Eine "DANKE"-Funktion gibt es hier im Forum so leider nicht, sonst hättest du schon mal einige
Anzeige

12.03.2011, 22:50	Zellerli	Auf diesen Beitrag antworten »
Bitte, bitte. Kein Ding

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »