Standardabweichung interpretieren |
| 03.08.2016, 11:55 | MayMyLittleMarch | Auf diesen Beitrag antworten » | ||
| Standardabweichung interpretieren Hallo ihr Lieben, ich hoffe ich bin hier nicht ganz falsch, aber ich weiß mir gerade einfach nicht mehr zu helfen. Eigentlich ist es wahrscheinlich total einfach und ich kann gerade nur nicht mehr richtig denken, aber: Ich habe eine Datenanalyse mit 24 Geschichten, zu denen Fragen beantwortet wurden und dafür 0 oder 1 Punkte (richtig falsch) gegeben. Jetzt habe ich für jede Geschichte (zu jeder gab es 4 Fragen und sie wurde von unterschiedlich vielen Probanden bearbeitet) einen MW und SD berechnet. 24 Werte sind natürlich recht viel, die habe ich im Barplot dargestellt (mit R). Aber ich habe mir jetzt einzelne herausgegriffen und weiß letztendlich gar nicht wie ich die richtig interpretiere. Meine Ideen: Geschichte 22 hat den geringsten Wert, M= 0.4545 (SD= 0.1661). Geschichte 3 erreichte mit M= 0.9659 (SD= 0.1169) den höchsten Wert. Die Standardabweichungen schwanken zwischen SD= 0.0896 bei Geschichte 12 und SD= 0.2452 bei Geschichte 5. Insgesamt wurde über alle Geschichten hinweg ein Mittelwert von M= 0.7733 erreicht. --> Eine SD von 1 wäre ja schon eine Effektstärke von 1. Aber mich verwirren hier die 0en. Wie würdet ihr das interpretieren? Ich würde sagen die Geschichten schwanken nicht viel was die Verteilung der Werte angeht, aber in den MW schon. Würde aber gerne sowas wie "doppelt so gut" etc. einbauen 
Danke im Voraus für Hilfe |
||||
| 03.08.2016, 12:41 | Steffen Bühler | Auf diesen Beitrag antworten » | ||
| RE: Standardabweichung interpretieren Anscheinend entspricht der Mittelwert dem Anteil der richtigen Antworten. Zu Geschichte 22 wurden also offenbar nur etwa 45 Prozent der Fragen korrekt beantwortet. Hier ist die Standardabweichung bei 17 Prozent, das bedeutet, dass etwa zwei Drittel der Antworten zwischen 45-17=28 Prozent und 45+17=62 Prozent lagen. Beantwortet das in etwa Deine Frage? Viele Grüße Steffen |
||||
| 03.08.2016, 13:05 | MayMyLittleMarch | Auf diesen Beitrag antworten » | ||
| RE: Standardabweichung interpretieren Danke für deine Antwort! Aber kann man das so einfach interpretieren, wenn die Daten nicht standardisiert sind? Ich war auch erst schon verunsichert, weil die Geschichten unterschiedlich oft beantwortet wurden. Also z.B. kann es sein dass Geschichte 3 (und die 4 Fragen) von 30 Probanden beantwortet wurde und Geschichte 5 von 38. Aber das müsste ja eigentlich durch die Mittelung vergleichbar sein oder? Und könnte man dann auch sowas sagen wie dass alle Standardabweichungen ähnlich groß waren (bzw. ist das bei den extremsten schon "doppelt" so groß?)? Im Grunde geht es nämlich darum, dass bewertet werden soll, inwieweit die Geschichten gleich einfach zu beantworten waren... |
||||
| 03.08.2016, 13:29 | Steffen Bühler | Auf diesen Beitrag antworten » | ||
RE: Standardabweichung interpretieren
Wenn alle gleich einfach wären, sollten sich die Mittelwerte so gut wie nicht unterscheiden. Anscheinend ist aber Geschichte 3 so leicht, dass fast alle Probanden sämtliche Fragen richtig haben. Geschichte 22 dagegen ist so schwierig, dass nur die Hälfte der Fragen richtig beanwortet wurde. Ich persönlich sehe da schon eine starke Diskrepanz im Schwierigkeitsgrad. Um zu einer Geasmtaussage zu kommen, würde ich lediglich den gesamten Mittelwert (77 Prozent) und dessen Standardabweichung (noch zu berechnen) heranziehen. Wäre diese Gesamt-Standardabweichung Null, wären alle Geschichten exakt gleich schwer. Liegt sie um die 10 Prozent, würde ich intuitiv auch noch behaupten, dass der Schwierigkeitsgrad vergleichbar ist. |
||||
| 03.08.2016, 18:42 | MayMyLittleMarch | Auf diesen Beitrag antworten » | ||
| RE: Standardabweichung interpretieren Also ich habe jetzt folgendes: Die Standardabweichungen schwanken zwischen SD= 0.0896 bei Geschichte 12 und SD= 0.2452 bei Geschichte 5. Insgesamt wurde über alle Geschichten hinweg ein Mittelwert von M= 0.7733 (SD= 0.1675) erreicht. Die Geschichten 1 bis 12 gehören zu einer anderen Kategorie als 13 bis 24. In Kategorie 1 ist M= 0.8104 (SD= 0.1484). In Kategorie 2 ist M= 0.7362 (SD= 0.1833). Wären die folgenden Interpretationen dann gut/richtig? Ich bin total unsicher, welche Vergleiche erlaubt sind. 1. Innerhalb der Geschichten unterscheidet sich die Streuung recht stark, in Geschichte 5 ist die Streuung mehr als doppelt so groß wie in Geschichte 12 2. Die Streuung zwischen den verschiedenen Kategorien ist vergleichbar, in Kategorie 2 erreichen die Probanden aber im Durchschnitt ca. 8% mehr richtige Antworten 3. Insgesamt könnten Fragen und Gesschichten noch etwas schwerer gestaltet werden (ist rechtssteil) und die Streuung der Geschichten um den Gesamtmittelwert ist annehmbar, aber weniger wäre wünschenswert... So in der Art? Danke schonmal! |
||||
| 04.08.2016, 10:05 | Steffen Bühler | Auf diesen Beitrag antworten » | ||
| RE: Standardabweichung interpretieren Ohne mehr Hintergrundwissen kann ich nicht viel dazu sagen. Daher nur ein paar Anmerkungen: Ein ideales Ergebnis ist für Dich offenbar ein Mittelwert von 0,5 und eine Standardabweichung von 0. Damit ist die Verteilung symmetrisch (nicht rechtsschief wie bei Dir - von "rechtssteil" hab ich allerdings noch nie gehört). Und Streuung Null bedeutet, dass alle Geschichten für alle Probanden genauso schwierig waren, es gibt keinerlei Ausreißer. Alle haben dann exakt zwei Fragen richtig und zwei Fragen falsch beantwortet. Nun wird das in der Realität wohl so gut wie nie passieren. Ein Mittelwert 0,5 ist mit viel Probieren vielleicht hinzukriegen, aber eine Gesamtstreuung Null ist utopisch. Und auch die einzelnen Geschichten werden wohl immer verschiedene Streuungen ergeben. Das hat mehrere Gründe. 1. Die Geschichten sind unterschiedlich schwierig. Ich weiß, hier gibt es natürlich kein objektives Messsystem, höchstens über die Komplexität der Sätze oder den Anteil der Fremdwörter. Aber es wird wohl niemand bestreiten, dass Kafkas "Verwandlung" inhaltlich schwieriger zu verstehen ist als das Märchen "Rumpelstilzchen". 2. Die Probanden haben unterschiedliche Aufnahmefähigkeit. Wer viel liest, kann eine Geschichte vielleicht schneller verstehen als jemand, der hier nicht so viel Erfahrung besitzt. Und wenn eine Geschichte beispielsweise von Musik handelt, wird jemand, der ein Instrument spielt, eventuell mehr damit anfangen können als andere. 3. Die Fragen sind unterschiedlich schwer gestellt. Es werden ja wohl für jede Geschichte andere vier Fragen gestellt. Hier ist es mit Sicherheit schwierig, Fragen zu formulieren, die jeweils genauso schwer oder leicht zu beantworten sind. 4. Es sind nur vier Fragen. Das ist ein mathematischer Effekt, wenn keine Zwischenwerte möglich sind. Die Streuung kann hier überhaupt nur dann Null sein, wenn der Mittelwert ein Vielfaches von 0,25 ist. Wenn z.B. alle Probanden exakt drei Fragen richtig hätten, käme ein Mittelwert von 0,75 und eine Standardabweichung von 0 heraus. Ein Mittelwert von 0,625 dagegen kann keine Streuung Null haben, denn zweieinhalb Fragen gibt es nicht. Für einen solchen Mittelwert könnte z.B. die Hälfte der Probanden zwei, die andere Hälfte drei Fragen richtig haben. Das bedeutet aber automatisch eine Streuung größer Null! Da die Streuung somit vom Mittelwert abhängt, ist es schon theoretisch schwierig, einen optimalen Zielwert zu formulieren. Was tun? Hier wird wohl ein wenig Bauchgefühl notwendig sein. Das heißt in diesem Fall: die Fragen, Geschichten und Probanden müssen so aufeinander abgestimmt werden, dass ein Mittelwert von 0,5 und eine Standardabweichung von 0,1 herauskommt. Am besten sowohl insgesamt als auch für die einzelnen Geschichten. Ob das zu schaffen ist, kannst Du besser beurteilen. Viele Grüße Steffen |
||||
| Anzeige | ||||
|
|
||||
| 04.08.2016, 13:49 | MayMyLittleMarch | Auf diesen Beitrag antworten » | ||
| RE: Standardabweichung interpretieren Danke für deine Mühe 
Noch eine wichtige Hintergrundinfo: die Kategorien SOLLEN sich unterscheiden. Das heißt die Annahme ist, dass die eine Kategorie von Geschichten leichter zu erinnern ist als die andere. Das kam auch raus in der Analyse. Nun dachte ich mir aber, dass ich trotzdem sehen möchte, ob die einzelnen Geschichten stark voneinander abweichen, denn gerade weil ja nicht alle VP exakt die gleichen bekommen haben wäre das ja schon wichtig (hoffe ich 
)Deswegen auch nochmal die getrennte Berechnung. Ich habe jetzt auch schon überlegt noch eine Diskriminanzanalyse zu machen aber irgendwie scheint mir das doch auch alles nicht sinnvoll. Also wäre es vielleicht besser bei der deskriptiven Beschreibung zu bleiben und zu sagen dass die Ergebnisse annehmbar aber noch optimierbar sind, oder? (MW könnte geringer sein; SD sind aber sowohl zwischen den Gruppen als auch insgesamt ok) |
||||
| 04.08.2016, 14:07 | Steffen Bühler | Auf diesen Beitrag antworten » | ||
RE: Standardabweichung interpretieren
Ja, ich glaube auch, mehr kann man hier nicht rausholen. |
||||
|
|
