Sheppard Korrektur bei unterschiedlichen Klassenbreiten

14.10.2022, 18:22

MasterWizz

Sheppard Korrektur bei unterschiedlichen Klassenbreiten

Hey Leute

Kennt ihr euch mit der Sheppard Korrektur aus? Bei klassierten Daten ist, soweit ich das verstanden habe, die Varianz durch die Annahme der Gleichverteilung innerhalb der Klassen, um die Varianz der stetigen Gleichverteilung größer. Bei gleichen Klassenbreiten $\begin{eqnarray*} \Delta x_i=:\Delta x \end{eqnarray*}$ besagt die Korrektur, dass diese besagte Varianz, also $\begin{eqnarray*} \frac{\Delta x^2}{12} \end{eqnarray*}$ , abgezogen werden sollte.

Was genau passiert allerdings bei verschiedenen Klassenbreiten? Ist dann der Sheppard Korrektur Term einfach das arithmetische Mittel aus den Varianzen der einzelnen Klassen?

Ich habe leider online nur eine Quelle gefunden, in der es für konstante Klassenbreiten hergeleitet wurde. Jedoch werden zwischendurch für mich nicht nachvollziehbare Annahmen getroffen, weshalb ich meine Vermutung nicht bestätigen kann. Ich hoffe ihr könnt auch hier wieder Licht ins Dunkel bringen! smile

15.10.2022, 09:44

Scotty1701D

Auf diesen Beitrag antworten »

RE: Sheppard Korrektur bei unterschiedlichen Klassenbreiten
Hallo,

Zitat:

Ich habe leider online nur eine Quelle gefunden,

komisch, ich habe unter „sheppard correction for moments“ 274000 Ergebnisse gefunden Augenzwinkern

Unter Sheppard‘s Correction steht zum Beispiel:

Zitat:

Class intervals should be equal in width.

Bei verschiedenen Klassenbreiten ist sie daher gar nicht definiert!

Wie kommst du auf die Annahme der Gleichverteilung innerhalb der Klassen?
Bei der Sheppard-Korrektur geht es um Daten, die in ein Histogramm gesamplet werden. Anschaulich gesehen werden dadurch die einzelnen Werte „verschmiert“ (für alle Werte wird der Mittelpunkt ihres Klassenintervalls angenommen), wodurch die Momente größer wird.

17.10.2022, 12:04

MasterWizz

Auf diesen Beitrag antworten »

RE: Sheppard Korrektur bei unterschiedlichen Klassenbreiten

Zitat:

Original von Scotty1701D
komisch, ich habe unter „sheppard correction for moments“ 274000 Ergebnisse gefunden Augenzwinkern

Ich habe nur eine Quelle auf deutsch gefunden (Billeter: Grundlagen der Elementarstatistik, S.122-125), in der dieser Korrekturterm hergeleitet wurde. Ich finde es auch sehr komisch, dass du 274000 solcher Quellen gefunden hast. Vielleicht magst du mir ja eine davon schicken, in der ebenfalls eine Herleitung ausführlich beschrieben wird, sodass eine Erweiterung auf unterschiedliche Klassenbreiten möglich ist.

Wie ich auf Gleichverteilung komme? Durch die Klassenbildung sind Informationen verloren gegangen. Daher treffe ich eine Annahme. Wenn du bessere Ideen für eine Annahme bei unzureichenden Informationen hast, dann lass es mich gern wissen.

18.10.2022, 22:07

Scotty1701D

Auf diesen Beitrag antworten »

RE: Sheppard Korrektur bei unterschiedlichen Klassenbreiten
Ich hatte ja nicht behauptet, dass alle Quellen eine Herleitung haben. Augenzwinkern

Wichtig ist, dass aus den Quellen hervorgeht, dass die Klassen dieselbe Breite haben. Ich kenne deine Quelle nicht, aber dort scheint es ja eine Herleitung zu geben.
Ich habe diese Quelle gefunden. (Die Suche nach deutschen Quellen habe ich im schon im letzten Jahrtausend aufgegeben Big Laugh

)

Deine Formulierung zur Gleichverteilung war etwas irreführend, aber im Prinzip hast du recht.

Für unterschiedliche Klassenbreiten sieht es schwierig aus. Da wirst du wohl erstmal ein paar Annahmen über die Verteilung der Daten und der Klassenbreiten machen müssen.

19.10.2022, 12:35

MasterWizz

Auf diesen Beitrag antworten »

RE: Sheppard Korrektur bei unterschiedlichen Klassenbreiten
Vielleicht ist es wirklich schlauer auf englisch zu suchen.

Zitat:

Original von Scotty1701D
Ich habe diese Quelle gefunden.

Auch hier wird wieder von einer äquidistanten Zerlegung der Intervalle ausgegangen. Um das zu verallgemeinern, müsste man noch den Integralbegriff neu aufrollen, soweit wollte ich eigentlich nicht ausholen Hammer

Also denkst du wird es voraussichtlich keine einfache Möglichkeit geben die Varianz, die sich durch die zusätzliche Annahme ergibt, bei unterschiedlichen Klassenbreiten wieder abzuziehen?

Im Anhang befinden sich die relevanten Auszüge meiner Quelle:
[attach]56116[/attach]
[attach]56117[/attach]
[attach]56118[/attach]

Meine Idee war die Klassenbreiten $\begin{eqnarray*} dx_i \end{eqnarray*}$ variablen zu lassen. Nur verstehe ich beim besten Willen nicht, was an dem Punkt passiert, als $\begin{eqnarray*} dx=1 \end{eqnarray*}$ gesetzt wird und danach das $\begin{eqnarray*} dx \end{eqnarray*}$ nicht verschwindet. (Bemerkung: $\begin{eqnarray*} dx \end{eqnarray*}$ sind hier keine Differentiale, sondern einfach nur die Klassenbreiten).

20.10.2022, 23:53

Scotty1701D

Auf diesen Beitrag antworten »

RE: Sheppard Korrektur bei unterschiedlichen Klassenbreiten
Diese Herleitung ist mir ehrlich gesagt etwas suspekt. verwirrt

1. Im Schritt nach Gleichung (60) wird so gerechnet, als wäre $\begin{eqnarray*} dx \end{eqnarray*}$ ein Differenzial, obwohl das ja nicht der Fall ist. $\begin{eqnarray*} dx \end{eqnarray*}$ ist lediglich klein gegenüber dem Wertebereich der Zufallsgröße. Ich gehe daher davon aus, dass die einzelnen Schritte zum Teil Näherungen sind.
2. $\begin{eqnarray*} dx_i \end{eqnarray*}$ taucht in den Gleichungen gar nicht auf, nur im Text vor Gleichung (60). Dieser Text ist daher so unsinnig.
(Es ist außerdem üblich, $\begin{eqnarray*} (dx)^2 \end{eqnarray*}$ zu schreiben, da $\begin{eqnarray*} dx^2=d(x^2) \end{eqnarray*}$ etwas anderes bedeutet.)
3. Die Bemerkung $\begin{eqnarray*} (dx=1) \end{eqnarray*}$ ist Blödsinn und wird ja auch nicht weiter berücksichtigt. $\begin{eqnarray*} f \end{eqnarray*}$ ist offenbar eine Dichtefunktion, und wenn man den Wert von $\begin{eqnarray*} f \end{eqnarray*}$ in der Intervallmitte mit der Intervallbreite multipliziert, dann ergibt die Summe natürlich 1. Der vorletzte Schritt in der Zeile muss also weg. geschockt

Wenn man das für unterschiedliche Intervallbreiten weiterdenken will, dann würde ich diese ganze Rechnung vergessen und in der zweiten Zeile ansetzen ( $\begin{eqnarray*} \sigma^2=\dots \end{eqnarray*}$ ) und dort $\begin{eqnarray*} {\sigma_i}^2=\frac{(dx_i)^2}{12} \end{eqnarray*}$ ersetzen.

21.10.2022, 12:04

MasterWizz

Auf diesen Beitrag antworten »

RE: Sheppard Korrektur bei unterschiedlichen Klassenbreiten

Zitat:

Original von Scotty1701D
Diese Herleitung ist mir ehrlich gesagt etwas suspekt. verwirrt

[...]
3. Die Bemerkung $\begin{eqnarray*} (dx=1) \end{eqnarray*}$ ist Blödsinn und wird ja auch nicht weiter berücksichtigt.

Sehe ich genauso!! Mit $\begin{eqnarray*} dx \end{eqnarray*}$ werden wahrscheinlich einfach nur Klassenbreiten bezeichnet. Aber der Schritt $\begin{eqnarray*} dx=1 \end{eqnarray*}$ zu setzen und dann aber mit beliebigem $\begin{eqnarray*} dx \end{eqnarray*}$ weiterzurechnen, ist doch quatsch? Ich muss dazu sagen, dass ich den ganzen rechnerischen Teil dazwischen ausgelassen habe, aber ja dann hier die Ergebnisse als Fotos angehängt habe.

Zitat:

Original von Scotty1701D
Wenn man das für unterschiedliche Intervallbreiten weiterdenken will, dann würde ich diese ganze Rechnung vergessen und in der zweiten Zeile ansetzen ( $\begin{eqnarray*} \sigma^2=\dots \end{eqnarray*}$ ) und dort $\begin{eqnarray*} {\sigma_i}^2=\frac{(dx_i)^2}{12} \end{eqnarray*}$ ersetzen.

Das habe ich versucht, bevor ich hier de Frage gestellt habe. Wenn ich das richtig überblicke, kann man bis zum Schritt (61) dadurch fast alles so übernehmen:
$\begin{eqnarray*} \sigma^2=\frac{1}{n}\sum\limits_{i=1}^n(x_i-m)^2 + \frac{1}{n}\sum\limits_{i=1}^n\sigma_i + \sum\limits_{i=1}^n\frac{1}{6}(dx_i)^2\cdot df(x_i)(x_i-m) \end{eqnarray*}$ , wobei
$\begin{eqnarray*} df(x_i)(x_i-m)=\dots=f\left(x_i+\frac{dx_i}{2}\right)\left(x_i-m+\frac{dx_i}{2}\right)-f\left(x_i-\frac{dx_i}{2}\right)\left(x_i-m-\frac{dx_i}{2}\right)-dx_i\cdot f(x_i) \end{eqnarray*}$

Gilt jetzt allerdings weiterhin folgende Begründung?

Zitat:

Wie in Quelle nur mit $\begin{eqnarray*} dx_i \end{eqnarray*}$ statt $\begin{eqnarray*} dx \end{eqnarray*}$
Bei einer stetigen Verteilung, die die $\begin{eqnarray*} x \end{eqnarray*}$ -Achse am Anfang und am Ende schneidet wird
$\begin{eqnarray*} \sum\limits_{i=1}^n \frac{1}{6}(dx_i)^2\cdot\left(f\left(x_i+\frac{dx_i}{2}\right)\left(x_i-m+\frac{dx_i}{2}\right)-f\left(x_i-\frac{dx_i}{2}\right)\left(x_i-m-\frac{dx_i}{2}\right)\right)\overset{?}{=}0 \end{eqnarray*}$

Und selbst wenn das gelten sollte, kann ich dann noch etwas aus dem verbleibenden $\begin{eqnarray*} \sum\limits_{i=1}^n \frac{1}{6}(dx_i)^3\cdot f(x_i) \end{eqnarray*}$ zaubern?

21.10.2022, 13:38

HAL 9000

Auf diesen Beitrag antworten »

Ich hab mir mal bewusst die obigen Rechnungen nicht angeschaut, und davon unbeeinflusst selbst mal gerechnet für folgende Situation:

Stichprobe vom Umfang $\begin{eqnarray*} n \end{eqnarray*}$ bestehend aus $\begin{eqnarray*} x_1,\ldots,x_n \end{eqnarray*}$ mit folgender Aufteilung in $\begin{eqnarray*} r \end{eqnarray*}$ Klassen mit Mittelpunkt $\begin{eqnarray*} m_j \end{eqnarray*}$ und Breite $\begin{eqnarray*} d_j \end{eqnarray*}$ für $\begin{eqnarray*} j=1,\ldots,r \end{eqnarray*}$ :

In Klasse $\begin{eqnarray*} j \end{eqnarray*}$ mögen genau $\begin{eqnarray*} n_j \end{eqnarray*}$ Werte liegen, es ist damit $\begin{eqnarray*} n=\sum_{j=1}^r n_j \end{eqnarray*}$ .

$\begin{eqnarray*} x_1,\ldots,x_n \end{eqnarray*}$ sind unbekannt, es sind nur die $\begin{eqnarray*} n_j,m_j,d_j \end{eqnarray*}$ bekannt. Gesucht sind erwartungstreue Schätzungen für Stichprobenmittelwert $\begin{eqnarray*} \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i \end{eqnarray*}$ sowie Varianz $\begin{eqnarray*} S^2 = \frac{1}{n-1} \left[ \sum_{i=1}^n X_i^2 - n \bar{X}^2 \right] \end{eqnarray*}$ unter der Modellierung, dass die $\begin{eqnarray*} n_j \end{eqnarray*}$ X-Werte in Klasse $\begin{eqnarray*} j \end{eqnarray*}$ dort stetig gleichverteilt im Intervall $\begin{eqnarray*} \left[m_j-\frac{d_j}{2},m_j+\frac{d_j}{2}\right] \end{eqnarray*}$ und unabhängig voneinander liegen.

---------------------------------------

Beim Stichprobenmittelwert kommt wenig spannend $\begin{eqnarray*} E\left[\bar{X}\right] = \frac{1}{n}\sum_{j=1}^r n_j m_j =: \bar{x} \end{eqnarray*}$ heraus, d.h., als würde man den Mittelwert der Intervallmitten $\begin{eqnarray*} m_j \end{eqnarray*}$ mit der entsprechenden Vielfachheit $\begin{eqnarray*} n_j \end{eqnarray*}$ nehmen.

Bei der Stichprobenvarianz habe ich nach mittellanger Rechnung folgendes erhalten:

$\begin{eqnarray*} E\left[S^2\right] = \frac{1}{n-1} \sum_{j=1}^r n_j\left(m_j-\bar{x}\right)^2 + \frac{1}{12n} \sum_{j=1}^r n_j d_j^2 \end{eqnarray*}$

Das entspricht der Stichprobenvarianz der Intervallmittenstichprobe zuzüglich dieses Summanden $\begin{eqnarray*} \frac{1}{12n} \sum_{j=1}^r n_j d_j^2 \end{eqnarray*}$ . Im Falle gleicher Intervallbreiten $\begin{eqnarray*} d=d_j \end{eqnarray*}$ ergibt das einfach $\begin{eqnarray*} \frac{d^2}{12} \end{eqnarray*}$ .

21.10.2022, 15:22

MasterWizz

Auf diesen Beitrag antworten »

Hi HAL

Freut mich, dass du auch dabei bist. Der addierte Term entspricht ja im Endeffekt dem arithmetischen Mittel der Varianzen der einzelnen Klassen (bei Gleichverteilung innerhalb der Klassen).

Grundsätzlich ist das auch der Punkt in der Quelle, von dem aus ich gestartet bin. Dort wurde aus Sicht der Statik argumentiert, dass $\begin{eqnarray*} \sigma_j \end{eqnarray*}$ das Verhältnis aus axialem Trägheitsmoment und Rechteckfläche ist:
[attach]56127[/attach]

Für die Gesamtstreuung gilt also soweit:
$\begin{eqnarray*} \sigma^2 = \frac{1}{n}\sum\limits_{j=1}^n n_j(m_j-\overline{x})^2+\frac{1}{n}\sum\limits_{j=1}^r n_j\sigma_j \end{eqnarray*}$

Im Folgenden wird dieser Term allerdings noch verändert durch einen Übergang von der Rechteckverteilung zu einer Trapezverteilung, da sich die (angeblich) in der Realität öfter ergibt:
[attach]56128[/attach]
Es wird also ein Dreieck mit der Fläche $\begin{eqnarray*} \frac{d_j\cdot df(m_j)}{8} \end{eqnarray*}$ addiert und wieder subtrahiert. Die Schwerpunktabszisse dieses Dreiecks ist damit $\begin{eqnarray*} m_j+\frac{d_j}{3} \end{eqnarray*}$ bzw. $\begin{eqnarray*} m_j-\frac{d_j}{3} \end{eqnarray*}$
Das Trägheitsmoment, das die Klasse $\begin{eqnarray*} j \end{eqnarray*}$ betrifft, wird dadurch folgendermaßen geändert:
$\begin{eqnarray*} \frac{1}{8}d_j\cdot df(m_j)\left(m_j-\overline{x}+\frac{d_j}{3}\right)^2-\frac{1}{8}d_j\cdot df(m_j)\left(m_j-\overline{x}-\frac{d_j}{3}\right)^2 = \frac{1}{6}d_j^2\cdot df(m_j)(m_j-\overline{x}) \end{eqnarray*}$

Wo allerdings langsam der Punkt kommt, wo ich eure Unterstützung brauche ist die weitere Vorgehensweise:
[attach]56129[/attach]
Also in unsere Symbolik übersetzt:
$\begin{eqnarray*} \sigma^2=\frac{1}{n}\sum\limits_{j=1}^r(m_j-\overline{x})^2+\frac{1}{n}\sum\limits_{j=1}^r n_j\sigma_j + \frac{1}{6}\sum\limits_{j=1}^r n_j\cdot d_j\cdot df(m_j)(m_j-\overline{x}) \end{eqnarray*}$

Nach einer ewig langen und mühsamen Umformung ergibt sich nun:
$\begin{eqnarray*} df(m_j)(m_j-\overline{x})=f\left(m_j+\frac{d_j}{2}\right)\left(m_j-\overline{x}+\frac{d_j}{2}\right)-f\left(m_j-\frac{d_j}{2}\right)\left(m_j-\overline{x}-\frac{d_j}{2}\right)-d_j\cdot df(m_j) \end{eqnarray*}$
Doch wie geht es jetzt weiter??

Für $\begin{eqnarray*} d:=d_j \end{eqnarray*}$ würde ein massiver Teil des Terms einfach wegfallen:
[attach]56131[/attach]
Es verbleibt lediglich:
$\begin{eqnarray*} \sigma^2=\frac{1}{n}\sum\limits_{j=1}^rn_j(m_j-\overline{x})^2+\frac{d^2}{12}-2\frac{d^2}{12} = \frac{1}{n}\sum\limits_{j=1}^rn_j(m_j-\overline{x})^2 - \frac{d^2}{12} \end{eqnarray*}$ .
Der subtrahierte Term am Ende ist die Sheppard Korrektur.

Doch wie sieht der Korrekturterm in unserem allgemeinen Fall aus? Können wir den auch so einfach zusammenfassen?

Für die Zuordnung von der Schreibweise in der Quelle zu unserer Schreibweise:
$\begin{eqnarray*} x_i= m_j \end{eqnarray*}$ , $\begin{eqnarray*} dx_i = d_j, m=\overline{x} \end{eqnarray*}$

21.10.2022, 15:42

HAL 9000

Auf diesen Beitrag antworten »

Ehrlich gesagt verstehe ich deine Resultate nicht: Erst schreibst du in Formel (60) $\begin{eqnarray*} \sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-m)^2 + \frac{dx^2}{12} \end{eqnarray*}$ (was wohl meinem Resultat entspricht), und dann aber weiter unten in Formel (62) $\begin{eqnarray*} \sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-m)^2 - \frac{dx^2}{12} \end{eqnarray*}$ .

Redest du über dasselbe $\begin{eqnarray*} \sigma \end{eqnarray*}$ ? Das macht doch irgendwie keinen Sinn, die beiden Formeln widerprächen sich ja dann. Also scheint es um unterschiedliche $\begin{eqnarray*} \sigma \end{eqnarray*}$ zu gehen. verwirrt

21.10.2022, 15:52

MasterWizz

Auf diesen Beitrag antworten »

Glaub mir, ich bin genauso verwirrt wie du. Soweit ich das verstehe, wird die Formel erweitert um die neue Annahme der Trapezverteilung anstelle der Rechteckverteilung.

21.10.2022, 18:01

HAL 9000

Auf diesen Beitrag antworten »

Die Rechteckverteilung ist doch aber eine spezielle Trapezverteilung - oder was meinst du mit letzterer? verwirrt

Ich kann mir ehrlich gesagt kaum eine Verteilung innerhalb der Klasse vorstellen, die zu einer KLEINEREN Varianz führt als wenn man die Klassenmitten nimmt: Es sei denn, die ist asymmetrisch so angelegt, dass in den unteren Klassen tendenziell hohe Intervallwerte, und in den oberen Klassen tendenziell kleine Intervallwerte angenommen werden. Aber wer denkt sich sowas pathologisches aus?

22.10.2022, 23:04

Scotty1701D

Auf diesen Beitrag antworten »

Zitat:

Original von MasterWizz
Soweit ich das verstehe, wird die Formel erweitert um die neue Annahme der Trapezverteilung anstelle der Rechteckverteilung.

Ich denke auch, dass das die Idee ist. Bei der Korrektur werden dann wohl die Häufigkeiten in den benachbarten Intervallen berücksichtigt. Da bei einer trapezförmigen Verteilung die Varianz etwas kleiner ist, wird wohl auch die Korrektur kleiner. Allerdings kann sie nicht so klein werden, dass sie ihr Vorzeichen wechselt verwirrt

Entweder ich verstehe hier was grundsätzlich falsch oder die Rechnung ist fehlerhaft.

23.10.2022, 12:07

MasterWizz

Auf diesen Beitrag antworten »

Sry Leute ich kann ja auch nur meine Vermutungen zu den Erklärungen aus dem Buch abgeben. Ich hatte gehofft ihr könnt hier Licht ins Dunkel bringen. Euch scheint aber der gleiche Teil zu stressen, wie mich. Aber wenn selbst HAL ratlos ist, dann zweifle ich tatsächlich lieber den Autor Billeter an, der das Buch verfasst und bei Springer veröffentlich hat haha.

Also mich machen die gleichen Stellen fertig, wie euch. Es schien nur zum Greifen nah einfach aus $\begin{eqnarray*} dx \end{eqnarray*}$ ein $\begin{eqnarray*} dx_i \end{eqnarray*}$ zu machen. Wenn ihr eine bessere Idee habt die Shepard Korrektur für verschiedene Klassenbreiten herzuleiten, dann würd ich mich sehr freuen das mit euch zusammen auszuarbeiten.

Neue Frage »

Antworten »

Sheppard Korrektur bei unterschiedlichen Klassenbreiten

Verwandte Themen