Signifikanz bei einfacher ja/nein Befragung errechnen

Neue Frage »

Grreg Auf diesen Beitrag antworten »
Signifikanz bei einfacher ja/nein Befragung errechnen
Meine Frage:
Hallo alle zusammen,

ich habe die Herausforderung bekommen mich mit Signifikanz auseinanderzusetzen obwohl ich diese in der Schule leider nie hatte. Ich habe mir versucht die Formeln über Wikipedia und ähnliches anzulesen, aber leider komme ich nicht weiter. Ich hoffe, dass ihr mir etwas helfen könnt.

Aufgabenstellung:
Es gibt zwei Vergleichsgruppen (z.B. N=101 und N=102) aus verschiedenen Städten welche mehrmals am Tag (Früh, Vormittag, Mittag, Nachmittag, Abend) befragt werden ob sie bestimmte Produkte/Nahrungsmittel konsumiert haben. Dies über zwei Wochen lang.

Fragestellung:
Bezogen auf ein Produkt und die Häufigkeit wie oft es in den zwei Wochen zu konsumiert wurde, wie Signifikant(p-Wert) ist der Unterschied zwischen den Testgruppen.

Meine Ideen:
Meine Ansätze:
Diese sind absolut durcheinander und mir fehlt eine Art "Roadmap". Wie in den Beschreibungen ersichtlich ist, benötige ich eine Hypothese0 (H0) und eine Alternative Hypothese.
H0: H0 = H1
H1: H0 != H1

Und ab hier tun sich schon bei mir die Fragezeichen auf. Bei verteilen Messerwerten kann man über dies Standardabweichung machen (?). Aber bei Werten von Nein(0) und Ja(1) erhalte ich bestenfalls eine Kommazahl die mir die angibt mit Wahrscheinlichkeit ein Produkt konsumiert wird.
Beispiel:
N=101, Befragungen pro Tag Nd= 5, Tage d=14, Summe aller "JAs" j=3500
j/(N*Nd*d) = ~0,495

Dies würde mir sagen dass zu im Durchschnitt etwa jeder zweite Befragte zu einer Befragung das bestimmte Produkt konsumiert hat. Aber eine Standardabweichung aus 0 und 1 daraus abzuleiten halte ich für Fragwürdig, da es hier keine echte "Streuung" von Messwerten gibt.

Wenn nun die Vergleichsgruppe im selben Zeitraum, fürs selbe Produkt, 7000 mal angibt es benutzt zu haben ist die Sache "gefühlt" klar, aber wie belege ich dies mit einem p-Wert. Vor allem wenn die Vergleichsgruppe nur 4000 mal "Ja" angibt. Wie Signifikant ist dann meine Aussage dass es keine Unterschiede zwischen den Gruppen gibt (H0) oder dass die eine Gruppe signifikant öfter das Produkt benutzte (H1).

Ich weiß, dass mir hier viele Grundkenntnisse fehlen und ich dies vielleicht nicht mit Wikipedia und Halbwissen angehen sollte, aber mir fehlt die Zeit mich mit Statistik und Signifikanz ausführlich in der Bibliothek zu beschäftigen und hoffe, dass ihr mir hier vielleicht ein paar Hinweise geben könnt damit ich ich nicht in eine falsche Richtung arbeite. (Ich weiß dass ich mich damit beschäftigen muss und hoffe nicht auf eine fertige Lösung hier im Forum, ich hoffe Hinweise zu erhalten Zeit bei der erarbeitung der Lösung zu sparen).

Vielen Dank schon mal im Voraus.
Grüße Greg
Huggy Auf diesen Beitrag antworten »
RE: Signifikanz bei einfacher ja/nein Befragung errechnen
Deine Zufallsgrößen sind die Zahl der Ja- bzw. Nein-Antworten. Und diese Zahl gehorcht einer wohldefinierten Verteilung, nämlich einer Binomialverteilung. Und die hat einen wohldefinierten Mittelwert und eine wohldefinierte Standardabweichung. Bei den gegebenen Zahlen kannst du die Binomialverteilung näherungsweise durch eine Normalverteilung ersetzen.

Mit dieser kannst du den Test durchführen. Allerdings sind für die Durchführung des Tests schon ein paar kleine Tricks notwendig.
Grreg Auf diesen Beitrag antworten »
Ein kleinen Schritt weiter
Hallo Alle zusammen,
Hallo Huggy,

vielen Dank schonmal für diesen Hinweis. Ich denke er hat mich sehr viel weiter gebracht mit meinem Verständnis. Erstmal klang das alles wie chinesisch, aber so langsam wirds Augenzwinkern

Wenn ich das richtig verstanden habe, dann benötige ich um auf Signifikanz zu prüfen einen Vergleichswert. Hierzu reicht die andere Vergleichsgruppe nicht aus, da ich einen "festen" Wert brauche an dem ich meinen "Fehler" messen kann.

Als Trick habe ich hier die Annahme getroffen dass die beiden Vergleichsgruppen representativ für die Allgemeinheit sind (bzw. für die getestete Zielgruppe). Also habe ich einen Mittelwert gebildet aus beiden Gruppen gebildet und gehe davon aus dass dies mein Vergleichswert ist.

Nun errechne ich den z-Wert über die Standardabweichung einer Vergleichsgruppe (meinem Verständnis nach egal welche, da diese sich genausoweit vom Mittelwert befinden - zumindest bei einer standardisierten Normalverteilung).

z-Wert = (Beobachteter Wert - Vergleichswert der Allgemeinheit) / Standardabweichung

Über diesen z-Wert kann ich dann ermitteln zu wieviel Prozent ich mich "irre". Damit kann ich also auch eine Aussage über die Signifikanz des Ergebnisses treffen. (richtig?)

Bei meinen Werten erhalte ich aber leider eine so hohe Standardabweichung, dass keines der Ergebnisse Signifikant ist, was aber nicht wirklich sein kann, da die Ergebnisse sich zum Teil wirklich seeehr stark unterscheiden.

Meine Vermutung (die ich leider nicht belegen kann, da ich mich vor kurzem erst in das alles eingearbeitet habe):
- Dadurch dass ich nur mit 0 und 1 arbeite, ist die Standardabweichung auch entsprechend hoch. Sie hängt meiner Meinung nach sogar direkt von dem Mittelwert ab
- Ich habe einfach Fehler in meiner Denkweise oder Berechnung des z-Wertes


Vielen Dank an Alle die es bis hier gelesen haben smile

Grüße Grreg
Huggy Auf diesen Beitrag antworten »
RE: Ein kleinen Schritt weiter
Die Bildung des Referenzwertes ist schon mal richtig, zumindest nehme ich an, dass du es richtig gemeint hast. Für den Test würde man aber nicht die einzelnen Gruppen mit dem Referenzwert vergleichen, sondern ermitteln, wie wahrscheinlich es ist, dass eine solche Differenz zwischen 2 Stichproben auftritt, wenn man annimmt, dass beide aus der Referenzverteilung stammen.

Ich vermute mal, dass du die Standardabweichung falsch berechnest. Mach doch mal ein konkretes Zahlenbeispiel. Oben hast du zwar den Umfang der beiden Gruppen genannt, aber nicht das Ergebnis der Befragung.
Grreg Auf diesen Beitrag antworten »

Hallo Huggy,

vielen lieben Dank dass Du Dir die Zeit nimmst das kurz anzuschauen.

Also ich habe wie bereits erwähnt sehr viele Möglichkeiten die ich betrachten kann. Der Einfachheit halber habe ich mich erstmal auf eine sehr kleine Teilgruppe bezogen. Das zweite Beispiel ist besser und bezieht sich auf die eigentliche Betrachtung.

Beispiel 1
Eingrenzungen:
Wochentag = Sonntag
Produkt = Schokolade
Jeder Teilnehmer wurde an diesem Sonntag bis zu 6 mal befragt (Früh, Vormittag, Mittag, Nachmittag, Abend, Nacht). Da einige zu einer Tageszeit nicht befragt wurden oder keine Angaben machten kann die Anzahl der Beobachtungen (N) auch weniger sein als die Anzahl der Teilnehmer mal Befragungen

Daraus ergeben sich folgende Rohdaten:
Gruppe Blau
MaxTeilnehmer=22
N=125
Ja=7
Mittelwert=0,0560
StdAbw=0,22992
((StdAbw=0,08782)) <-- Diese Abweichung würde sich ergeben wenn man bereits die Mittelwerte von den Tageszeiten bildet (Früh, Vormittag,...) und dann betrachtet.*

Gruppe Rot
MaxTeilnehmer=22
N=132
Ja=13
Mittelwert=0,0985
StdAbw=0,29797
((StdAbw=0,06691)) *

Die (angenommene) Referenzgruppe wäre also:
N=257
Ja=20
Mittelwert=0,0778

*Diese Betrachtungsweise scheint zwar genauer zu sein, aber ist meiner Meinung nach falsch weil ich die Tageszeiten als einzelnes gar nicht betrachten will und nur eine Aussage über die Gesamtheit machen will - zu dem wird hier nicht berücksichtigt, dass an bestimmten Uhrzeiten weniger Teilnehmer ausgesagt haben. Im Grenzfall würde also ein einziger Teilnehmer für alle "Aussagen" und dies würde gleich gewichtet sein wie alle Aussagen zu einer anderen Uhrzeit.

Beispiel 2
Eingrenzungen:
Produkt=Wasser
Tage=6 (Es soll keine Betrachtung der Tage stattfinden, sondern nur die Stichprobe erweitern)
Befragungen pro Tag=6

Daraus ergeben sich folgende Rohdaten:
Gruppe Blau
MaxTeilnehmer=28
N=755
Ja=60
Mittelwert=0,0795
StdAbw=0,27047
((StdAbw=0,08477)) <-- Diese Abweichung würde sich ergeben wenn man bereits die Mittelwerte von den Tagen und Tageszeiten bildet (MoFrüh, MoVormittag,...SaAbend,SaNacht) und dann betrachtet.*

Gruppe Rot
MaxTeilnehmer=27
N=780
Ja=246
Mittelwert=0,3154
StdAbw=0,46467
((StdAbw=0,19673)) *

Die (angenommene) Referenzgruppe wäre also:
N=1535
Ja=306
Mittelwert=0,1993


Meine Überlegungen
Das erste Beispiel ist schwer "abzuschätzen" ob es ein signifikanter Unterschied ist oder Zufall. Beim zweiten lässt sich das eindeutig abschätzen ... aber ich kann es aktuell eben nicht errechnen. Nehme ich die StdAbw welche in Klammern ist - also die vermeindlich genauere, so erhalte ich für beide Gruppen (Rot und Blau) einen "schönen 95%" bereich mit einem Z-Wert von 1,96. Da sich diese Bereiche nicht "überschneiden" kann ich hier mit reiner Logik behaupten, dass das Ergebnis Signifikant ist. Allerdings komm ich selbst mit diesem "optimierteren" Wert nicht darauf wie ich die Signifikanz berechnen kann, da ich zwei Mittelwerte habe die BEIDE eine Standardabweichung haben.

Ich habe versucht zu ermitteln wieviel Prozent der Ergebnisse "unter" dem Wert der anderen Gruppe liegen - mit dieser "optimierten" Standardabweichung habe ich wie folgt gerechnet:

MW= Mittelwert; rot/blau/ges = sind die Vergleichsgruppen (ges=referenzgruppe gesamt)

(MWblau - MWges)/StdAbwBlau = z-Wert
(0,079-0,199)/0,085 = ~ -1,4
Dies würde in der Standardnormalverteilung also etwa 8% bedeuten. Damit kann ich Aussagen, dass 8% meiner Ergebnisse (aus Sicht von blau) über dem Mittelwert der Referenzgruppe liegen.

Mache ich die selbe Rechnung aus Sicht der Roten Vergleichsgruppe, erhalte ich aufgrund der deutlich höheren StdAbw einen z-Wert von ~0,5.

Fazit
Um ehrlich zu sein, glaube ich, dass ich gar nicht soo weit von der Lösung entfernt bin. Allerdings habe ich komplett den Durchblick verloren und mische wahrscheinlich diverse Aussagen die in der Kombination gar nicht mehr richtig sind.

Meine zwei Hauptfragen sind:
1) Angenommen ich könnte die "optimierte" StdAbw nehmen: Wie kann ich prüfen ob der Unterschied zw. den Gruppen signifikant ist? Wo habe ich den Fehler in meiner Rechnung gemacht, bzw. welcher Schritt fehlt?

2) Ich bin davon ausgegangen, dass wenn ich keine Mittelwerte von Mittelwerten nehme, sondern erst am Ende die Summen betrachte und mit diesen Arbeite mein Ergebnis genauer ist (da ich ja keine Aussage über einzelne Tage oder Uhrzeiten treffen will!) - warum meine StdAbw größer ist kann ich mathematisch leicht nachvollziehen, aber logisch fehlt mir die Argumentation welche Betrachtungsweise der Daten besser ist (bzw. warum die Daten genauer werden wenn ich sie schon vorher zusammenfasse und somit zum Teil nur 20 von 28 befrage aber rechnerisch so tue als hätten mir alle 28 geantwortet.

Ich bin am verzweifeln unglücklich

Entschuldige, dass ich Dich mit einer Wand aus Text konfrontiere, aber ich möchte hiermit auch ein wenig zeigen, dass ich mich mit der Thematik so gut wie möglich versuche auseinanderzusetzen und zu lösen und ich keine "mach mir mal bitte"-Lösung erwarte.

Vielen lieben Dank für die Zeit die Du Dir genommen hast um das zu lesen und Dir darüber Gedanken zu machen.

Grüße Grreg
Huggy Auf diesen Beitrag antworten »

Es ist fraglich, ob man die mehrfache Befragungen derselben Person als unabhängige Zufallsgrößen ansehen kann. Das sei mal ignoriert.

Ich nehme dein Beispiel 2. Wir haben 2 Stichproben:

S1: n1 = 755, k1 = 60
S2: n2 = 780, k2 = 246

Es soll die Hypothese untersucht werden, dass beide Stichproben aus der gleichen Grundgesamtheit stammen. Der Anteil p der Ja-Antworten in dieser Grundgesamtheit ist unbekannt. Als Schätzwert für p nehme man:



Bis hier ist bei dir alles in Ordnung.
Der Anteil der Ja-Antworten in einer Stichprobe vom Umfang n aus der Grundgesamtheit ist binomialverteil, also



Erwartungswert (Mittelwert) und Standardabweichung der Verteilung sind





Mit obigem p bekommt man für die Verteilung von Stichproben vom Umfang n1 bzw. n2 die Mittelwerte und Standardabweichungen:





Beachte: Das sind nicht Mittelwerte und Standardabweichungen der Stichproben, sondern der Verteilungen der Stichproben.

Da nun die k-Werte der Stichproben ca. 9 Standardabweichungen von den Mittelwerten entfernt liegen, kann man ohne Rechnung sagen, dass diese Stichproben nie und nimmer aus einer Grundgesamtheit mit obigem p sein können, insbesondere also auch nicht aus derselben Grundgesamtheit stammen können.

Was aber, wenn die Werte enger zusammenliegen würden? Da obige Standardabweichungen größer 3 sind, kann man die Binomialverteilungen durch Normalverteilungen annähern. Die beiden Stichprobenverteilungen sind also näherungsweise Normalverteilungen mit obigen Mittelwerten und Standardabweichungen. Dann sind aber Linearkombinationen der beiden Zufallsgrößen auch näherungsweise normalverteilt. Betrachtet man die Zufallsgröße



so hat diese den Mittelwert 0 und die Standardabweichung



und die Zufallsgröße



ist standardnormalverteilt. Mit Y kann man nun den üblichen Hypothesentest machen.

Ist die Näherung durch die Normalverteilung nicht gestattet, muss man den Rechner direkt mit der Binomialverteilung arbeiten lassen.
 
 
Grreg Auf diesen Beitrag antworten »
Vielen Dank
Hallo Huggy!

Vielen Dank für Deine Hilfe. Ich glaube ich habe mit Deiner Hilfe das ganze nun verstanden und konnte es umsetzen. Ich kann den Sachverhalt, sogar inzwischen mit eigenen Worten wiedergeben Augenzwinkern

Vielen Dank für Deine so ausführlichen Zahlenbeispiele und Erklärungen, ohne diese hätte ich das nicht so schnell erarbeiten können.

Du hast mir sehr geholfen.

Vielen Dank und Grüße
Greg
Neue Frage »
Antworten »



Verwandte Themen

Die Beliebtesten »
Die Größten »
Die Neuesten »