Testpower - ungeschulte vs. geschulte Verkoster |
| 08.10.2012, 11:52 | StDev | Auf diesen Beitrag antworten » |
| Testpower - ungeschulte vs. geschulte Verkoster es wäre super, wenn ihr mir bei fogender Problematik weiterhelfen könntet: Annahme: ich mache eine Verkostung mit zwei Getränken mit der Frage "welches der beiden Getränke (A oder B) ist saurer?" Auswertung mittels Binomialtest. n=40 (Laien; Konsumenten), Alpha=.05, Testpower >80% 29 Personen (73%) Getränk A gewählt; der Binomialtest weist ein signifikantes Ergebnis aus (p=.006), die Testpower liegt bei 83% Soweit so gut - meine Frage hierbei ist nun: Wie sieht die der Binomialtest bzw. die Poweranalyse aus, wenn ich den Test nicht mit Konsumenten (Laien; ungeschult) sondern mit 12 geschulten Verkostern durchführe, deren Meinung/Beurteilung ja aufgrund der Erfahrung "mehr Wert" bzw. genauer ist? (zB bei Annahme dass sich 8 geschulte Verkoster (75%) sich für Getränk A entscheiden) Vielen Dank im Voraus! LG |
||
| 10.10.2012, 02:39 | andyrue | Auf diesen Beitrag antworten » |
| RE: Testpower - ungeschulte vs. geschulte Verkoster was soll testpower heißen? dass die nullhypothese (also die annahme vor dem test) lautet: mindestens 80 prozent stufen getränk A saurer ein? und alpha = irrtumswahrscheinlichket / signifikanzniveau? und im zweiten test: n=12 p(treffer)=.83 8 treffer, also wie groß ist die wsk, bei einer bernoullikette der länge 12, einer trefferwsk von 0,83 höchstens 8 treffer zu landen, mein GTR macht das, binomcdf(12,0.83,8) (der liegt aber grad bei mir in der schule) andy |
||
| 10.10.2012, 15:46 | StDev | Auf diesen Beitrag antworten » |
| RE: Testpower - ungeschulte vs. geschulte Verkoster Hi Andy, danke für deine Antwort! Testpower = Teststärke (1-Beta) (sie gibt an mit welcher Warhscheinlichkeit man sich zu recht H0 verworfen hat. für dieses Beispiel sind mind. 80% gefordert) Ja mit Alpha meinte ich das Alphaniveau beim Hypothesentesten (also eine Irrtumswahrscheinlichkeit von 5%) Die Angaben lauten zusammengefasst wie folgt H0=Beide Getränke sind gleich sauer H1=Die Getränke unterscheiden sich (A oder B is saurer) Alphanivau/Signifikanznivau= 5% Testpower/Teststärke >80% Beisipiel 1: Verkostung durch 40 Konsumenten (ungeschulte Verkoster) Ergebnis: 29 (73%) Konsumenten entscheiden, dass Getränk A saurer ist. Der Binomialtest wird mit p=.006 signifikant, H0 wird somit verworfen. Die Durchführung einer Poweranalyse weist eine Tesstärke von 83% auf, was über den geforderten 80% liegt. Wir haben H0 also mit einer Wahrscheinlichkeit von 83% zur Recht verworfen. Beispiel 2: Selben Angaben wie oben, Verkostung wird jedoch von 12 geschulten Verkostern durchgeführt Ergebnis: 9 geschulte Verkoster (75%) entscheiden, dass Getränk A saurer ist. Hierbei wird weder der Binomialtest signifikant (p=.146) noch die Testpower ist ausreichend (39%). Meine Frage ist nun: Die Meinungen von geschulten Verkostern (die Experten auf dem Gebiet sind) sind ja "mehr Wert" da sie ja genauer unterscheiden können, als Ungeschulte. Wie berücksichtige ich das beim Binomialtest bzw. bei der Poweranalyse? glg |
||
| 11.10.2012, 05:20 | chris_78 | Auf diesen Beitrag antworten » |
Also so wie ich das verstehe: 1. Unsere Zufallsgröße lautet "A ist saurer als B" 2. Die Nullhypothese, dass beide gleich sauer sind meint dann dass p=0,5 sein müsste (gleich sauer meint dann also, dass 50% aller Menschen A saurer empfinden als B und die anderen 50% eben nicht). Außerdem lässt die Formulierung auf einen zweiseitigen Test schließen. Bei n=40 und einem Signifikanzniveau=5% erhalte ich daraus einen Verwerfungsbereich von {0...13} & {27...40} Nun liegt das Ergebnis der Stichprobe mit 29 im Verwerfungsbereich, weswegen H0 abgelehnt wird. Wie will ich aber das Beta berechnen ohne die wirkliche Wahrscheinlichkeit zu kennen? Das geht doch nicht. Was hast du denn da gerechnet? Zum 2. Beispiel geht analog und führt zu einem Verwerfungsbereich von {0...2} & {10...12} weswegen H0 nicht verworfen wird (Stichprobe lag ja bei 9) Obwohl das hier 75% sind (gegenüber 73% in Beispiel 1) wird diesmal nicht verworfen, weil n einfach deutlich kleiner ist. Und wie gut die Probanden geschult sind hat mathematisch nunmal auch kein Gewicht. Was kann man tun? Nun da fällt mir erstmal ein geschulte und ungeschulte Verkoster in einen Topf zu werfen und den geschulten beispielsweise mehr Gewicht zu geben, als dass ein Geschulter=3 Ungeschulten entspricht. Das ist natürlich völlig willkürlich, aber wie will man denn bemessen wieviel mehr wert ein geschulter Gaumen ist gegenüber einem ungeschulten? |
||
| 12.10.2012, 13:39 | StDev | Auf diesen Beitrag antworten » |
Hi chris_78, danke für deine Antwort, Stimmt, H0 ist p=0,5 und der Test ist zweiseitig. Teststärke (1-Beta) ergibt sich aus der Stichprobengröße, Alpha und Effektröße, in Beispiel eins wäre es eine Tesstärke von 83% (post-hoc Berechnung). Betreffend Beispiel 2: Hier spreche ich genaugenommen die sensorische Analyse an, wo ein geschultes Panel (bestehend aus mehreren geschulten Verkostern) zum Einsatz kommt und die Gruppenbeurteilung (zB Säuregehalt) als objektive Messmethode angesehen wird. Ich finde in der Literatur zwar immer, dass ein solches Panel aus weniger Personen besteht da es Experten sind (in etwa 8 bis 15), jedoch nichts darüber, wie ich es zB meine Testpower beeinflusst. Eine Angabe, wie du sie beschreibst, 1 Experte zählen soviel wie 3 Konsumenten, würde mir hierbei schon genügen. Nur werder ich diesbezüglich leider nicht fündig. glg |
||
| 18.10.2012, 03:15 | chris_78 | Auf diesen Beitrag antworten » |
Sorry für verspätete Antwort, war verreist. Beta Fehler ist die Wahrscheinlichkeit H0 beizubehalten, obwohl in Wahrheit H1 gilt. Also hier an p=0,5 festzuhalten obwohl in Wahrheit eine andere Wahrscheinlichkeit für p vorliegt. Wie groß die Wahrscheinlichkeit fürs fehlerhafte Beibehalten, also ß, ist hängt aber maßgeblich vom "wahren" p ab. Ohne dieses Wissen lässt sich ß doch nicht berechnen. Nun bin ich mit post-hoc Tests nicht so vertraut, aber die vertiefen doch eine Varianzanalyse (ANOVA). Was hat das mit dem zweiseitigem Hypothesentest in der geschilderten Form zu tun? Da Du aber eine Effektgröße erwähnst zum berechnen, was ja nach Varianzanalyse klingt, würde mich mal interessieren was Du da eigentlich berechnet hast? Was soll hier Einflußvariable sein? Irgendwie passt das für mich nicht zusammen.... Zu 2. Eine Festlegung wieviel mehr Wert die Meinung eines Experten gegenüber eines Laien ist, bleibt doch immer willkürlich. Wenn in der Praxis Experten-Panels der Größenordnung 8-15 Personen herangezogen werden reicht dies doch wohl in der Regel den Herstellern als ausreichend genaue Einschätzung. |
||
| Anzeige | ||
|
|
||
| 19.10.2012, 13:13 | StDev | Auf diesen Beitrag antworten » |
Hi Chris, Das was du über den Betafehler schreibst stimme ich voll zu. Den „wahren“ p-Wert habe ich angegeben bzw. errechnet sich aus der „wahren“ Verteilung (in diesem Fall 73% zu 27%). Post-hoc Tests vertiefen unter anderem Varianzanalysen, ja. Abgesehen davon dass wir hier mit einem Binomialtest zu tun haben, habe die post-hoc Testpoweranalyse gemeint, was etwas anderes ist. Effektgröße wird auch bei Binomialtests berechnet und ist nicht rein bei der Varianzanalyse zu finden. Mir geht es aber weniger darum, die Anwendung des Binomialtests, Effektgröße etc. zu bereden, sondern den Unterschied zwischen Laien und professionelle Verkoster hinsichtlich Testpower. Stimmt, 8-15 Personen werden für ein Panel empfohlen, jedoch sollte auch hierbei es irgendwie möglich sein die Testpower zu berechnen bzw. einzuschätzen. Mich würde interessieren, warum diese Anzahl empfohlen wird. Vielleicht werde ich in weiterführender Literatur fündig. Danke trotzdem für deine/eure Mühe. glg |
||
|
|
Verwandte Themen
| Die Beliebtesten » |
| Die Größten » |
| Die Neuesten » |