Verteilungsfunktion aus Momenten entwickeln

20.06.2012, 15:20

der Kleene

Verteilungsfunktion aus Momenten entwickeln

Meine Frage:
Hallo,
in Verbindung mit meiner Masterthesis komme ich gerade an meine statistischen Grenzen Augenzwinkern

Ich überlege verzweifelt, wie ich aus meinem Datensatz eine Verteilungsfunktion generieren / erstellen kann. Leider konnte ich durch verschiedene Tests (Anderson-Darling-Test) und Transformationen (Box-Cox / Yeo-Johnson) keine Standard-Verteilung finden, welche annähernd zufriedenstellend zu meinen Daten passt.

Ziel ist es, einen Prozess zu beschreiben. Ich gehe davon aus, dass durch Veränderung bestimmter Randbedingungen nur geringe Abweichungen in der Verteilungsform auftreten. Somit wäre die Charakterisierung über eine Funktion ein großer Vortschritt.

Meine Ideen:
Es heißt immer, dass Verteilungsfunktionen durch ihre Momente beschrieben werden können. Die Ermittlung der ersten 4 Zentralmomente (bis hin zur Kurtosis) stellt ja kein Problem dar. Kann ich mit diesen Kennwerten eventuell einen Weg finden mir eine Verteilungsfunktion zu "basteln"?

20.06.2012, 15:44

Huggy

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln
Es gibt Verteilungen, die extra geschaffen wurden, um sie an empirische Verteilungen anpassen zu können, z. B. die Johnson-Verteilungen und die Pearson-Verteilungen. Die Johnson-SU- und Johnson-SB-Verteilungen haben jeweils 4 freie Parameter. Man kann diese mit gewissen Einschränkungen so wählen, dass ihre ersten 4 Momente mit den Momenten der empirischen Verteilung übereinstimmen.

20.06.2012, 16:50

der Kleene

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln
Vielen Dank für diese schnelle Antwort.

Über die Pearson-Verteilung bin ich auch schon einige Male gestolpert. Da mein Wissen auf diesem Gebiet wirklich sehr rar gesäht ist, bin ich mir sehr unschlüssig gewesen in wie fern ich damit arbeiten kann und vorallem WIE ich damit arbeiten muss?

Soweit ich das überblicke, handelt es sich um eine Differentialgleichung mit den entsprechend frei wählbaren Variablen und diese lassen sich über verschiedene Zusammenhänge durch die Momente berechen.

Wenn ich anschließendn das Integral löse, sollte ich meine gesuchte Funktion erhalten?

20.06.2012, 17:45

Huggy

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln
Vielleicht solltest du dir mal

Hahn, Shapiro
Statistical Models in Engineering

ausleihen. Die Johnson-Verteilungen sind dort explizit als Formeln angegeben. Zu den Pearson-Verteilungen gibt es neben der Differentialgleichung zumindest Literaturangaben, die auch explizite Formeln enthalten sollen.

21.06.2012, 12:26

der Kleene

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln
Von Hahn & Shapiro habe ich auch einige Paper / Veröffentlichungen gefunden und kämpfe mich gerade Stück für Stück durch. Aber durch die Vielzahl der Anwendungen ist es schwer den richtigen Ansatz zu wählen. Wäre mit dem Buch zur Hand sicher ähnlich.

Was mir nun ebenfalls aufgefallen ist : Meine Verteilung mach den Anschein bimodal zu sein. Hätte das in dem Fall negative Auswirkungen auf die Anwendung der Gleichungs-Konstruktion (über Pearson / Johnson)?

Gibt es im Anschluss an die Gleichungserstellung vllt auch ein Programm zur Visualisierung der Ergebnisse? Sprich ich würde gern Gleichung & Histogramm übereinander legen.

Ich weiß ich stelle viele Fragen, aber ich bin einfach etwas überfordert und hoffe trotzdem auf weiterhin positives Feedback =)

LG

21.06.2012, 14:59

Huggy

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln

Zitat:

Original von der Kleene
Von Hahn & Shapiro habe ich auch einige Paper / Veröffentlichungen gefunden und kämpfe mich gerade Stück für Stück durch. Aber durch die Vielzahl der Anwendungen ist es schwer den richtigen Ansatz zu wählen. Wäre mit dem Buch zur Hand sicher ähnlich.

Das Buch dürfte trotzdem nützlich sein. Es enthält auch viele Abbildungen der Verteilungen.

Zitat:

Was mir nun ebenfalls aufgefallen ist : Meine Verteilung mach den Anschein bimodal zu sein. Hätte das in dem Fall negative Auswirkungen auf die Anwendung der Gleichungs-Konstruktion (über Pearson / Johnson)?

Bei den Johnson-Verteilungen sind auch bimodale dabei. Diese waren in den Abbildungen allerdings symmetrisch. Wie es bei Pearson aussieht, weiß ich nicht.
Man kann sich solche Verteilungen auch durch Überlagerung bekannter Verteilungen selbst basteln. Sei z. B. $\begin{eqnarray*} f(\mu, \sigma |x) \end{eqnarray*}$ die Dichtefunktion der Normalverteilung. Dann erhält man durch

$\begin{eqnarray*} g(\alpha, \mu_1, \sigma_1, \mu_2, \sigma_2 |x)=\alpha f(\mu_1, \sigma_1 |x)+(1-\alpha )f(\mu_2, \sigma_2 |x) \end{eqnarray*}$

mit $\begin{eqnarray*} \alpha \in [0, 1] \end{eqnarray*}$ auch bimodale Verteilungen und hat sogar 5 freie Parameter.

Zitat:

Gibt es im Anschluss an die Gleichungserstellung vllt auch ein Programm zur Visualisierung der Ergebnisse? Sprich ich würde gern Gleichung & Histogramm übereinander legen.

Im Prinzip kann man das mit jeder besseren Plotsoftware machen. Ich empfehle dir aber, dich mal in der Statistiksoftware umzusehen. Da ist mit Sicherheit passendes dabei. Es würde mich nicht wundern, wenn das eine oder andere Programm auch Module hätte, mit denen man theoretische Verteilungen an empirische Verteilungen anpassen kann.

21.06.2012, 15:51

der Kleene

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln
Dank dir erstmal Hobby,

ich versuche mich die Tage mal weiter damit. Denke die Überlagerung verschiedener Funktionen klingt auch vielversprechend, nur müsste ich für die einzelnen Funktionen auch erst einmal die Parameter herausbekommen Augenzwinkern

Mein Prof. meinte auch etwas von "Linearkombination aus e-Fkt." könnte ja auf den ähnlichen Weg hindeuten neheme ich an. Sodass ich mehrere e-Fkt zu einer gesamten Verteilungsfunktion verknüpfe.

Zu dem Statistikprogramm:
Ich nutze derzeit Minitab. Dort gibt es die Möglichkeit auf ich glaube etwa 10 versch. Verteilungen zu Prüfen, des Weiteren werden Johnson- und Box-Cox-Transformationen durchgeführt um evtl auf Normalverteilung zu transformieren. Leider führen alle Wege bisher nur zu unzureichenden Ergebnissen, ergo p zu klein. Nur wenn ich in meinem Histogramm die Intervalle entsprechend anpasse (vergrößere) kommt nach und nach etwas zählbares herraus. Aber das ist ja auch logisch, nur die Frage in wie fern es sinnvoll ist die eingentlichen Daten so zu manipulieren. Zumal sie dann ja auch keine repräsentative Stichprobe mehr darstellen.

16.11.2012, 14:56

der Kleene

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln
Hallo Leute,

ich muss mich nach einiger Zeit noch mal in dieses Thema einhaken:

Ich habe wie gebreits angedeutet ja das Problem, meine bimodale empirische Verteilung zu modellieren. Bisher scheint der Ansatz von Hobby sehr vielversprechend. ich würde gern zwei Weibullfunktionen:

$\begin{eqnarray*} f(x;\alpha;\beta;\gamma)=(\frac{\alpha *x^{\alpha -1} }{\beta^{\alpha }})*e^{-(\frac{x}{\beta})^{\alpha } } \end{eqnarray*}$

kombinieren wollen nach folgendem Prinzip:

$\begin{eqnarray*} f(x)=w*f_1(\alpha_{1},\beta_{1}, \gamma_{1}) + (1-w)*f_1(\alpha_{2},\beta_{2}, \gamma_{2}) \end{eqnarray*}$

Damit hätte ich also 7 frei wählbare Parameter.

Wenn ich jedoch meine Verteilung "zerteile" und für jeden Peak eine eigene Weibullverteilung erstelle, komme ich leider noch nicht zu dem Ergebnis, welches ich gerne hätte. Denn: mit dem Verknüpfungsparameter "w" verschiebt sich so gut wie alles, bzw es ist keine vollständige Funktion zu erhalten.
Nun habe ich gelesen, dass mittels Maximum-Likelihood-Methode eine Schätzung für die 7 Parameter möglich ist. Leider bin ich mathematisch kein soooo großes Genie, dass ich mit den oft in der Literatur verwendeten Bezeichungen diese Schätzung durchführen kann.

Deshalb die Frage: Ist es möglich eine solche Schätzung mit normalen Mitteln (Solving via Excel etc.) durchzuführen? Oder gibt es doch eine Möglichkeit die bereits ermittelten Parameter der beiden einzelnen Weibullverteilungen zu nutzen und irgendwie anders miteinander zu kombinieren?

Ich wäre für ähnlich schnelle Hinweise wie das letzte mal sehr dankbar =)

Grüße vol Kleenen

16.11.2012, 16:35

Huggy

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln
Die Weibullverteilung hat nur 2 Parameter. Es stehen ja bei dir auch nur 2, nämlich $\begin{eqnarray*} \alpha \end{eqnarray*}$ und $\begin{eqnarray*} \beta \end{eqnarray*}$ . $\begin{eqnarray*} \gamma \end{eqnarray*}$ kommt nicht vor.

Die Parameterschätzung nach der Maximum-Likelihood-Methode ist mit dem Solver von Excel leicht möglich. Die Problemstellung lautet:

$\begin{eqnarray*} L= \prod_{i=1}^n f(x_i|p_1, ..., p_m)=Max! \end{eqnarray*}$

Dabei ist L die Likelihood, f ist die Dichtefunktion, die $\begin{eqnarray*} x_i \end{eqnarray*}$ bilden die Stichprobe und die $\begin{eqnarray*} p_k \end{eqnarray*}$ sind die zu schätzenden Parameter. Statt L kann man auch $\begin{eqnarray*} \ln L \end{eqnarray*}$ maximieren.

$\begin{eqnarray*} \ln L= \sum_{i=1}^n \ln f(x_i|p_1, ..., p_m)=Max! \end{eqnarray*}$

Das ist auch bei der numerischen Lösung meist empfehlenswert. Mit dem Solver kann man direkt nach dem Maximum suchen. Es kann bei solchen Problemen natürlich mehrere lokale Maxima geben. Der Solver findet immer nur eines davon. Man kann dann versuchen, mit anderen Startwerten weitere Maxima zu finden.

P.S. Mein Nickname ist Huggy, nicht Hobby

22.11.2012, 13:38

der Kleene

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln
Hallo HuGGy,

Ich konnte leider nicht eher zurück schreiben, da ich terminlich verhindert war. Und eine zweite Entschuldigung gibt es gleich hinterher, für den falsch geschriebenen Nick Augenzwinkern

War keine Absicht.

KBezüglich der WEibull-Verteilung noch ein kleiner Nachtrag: Unglücklicher Weise habe ich wirklich die zweiparametrige Verteilung gepostet, es gibt jedoch auch eine mit 3 wählbaren Parametern.

$\begin{eqnarray*} f(x;\alpha ;\beta ;\gamma )=(\frac{\alpha*(x-\gamma) ^{\alpha-1} }{\beta^{\alpha }}) *e^{-\frac{(x-\gamma )}{\beta}^\alpha} \end{eqnarray*}$

Diese ist auch für mich interessant, da das $\begin{eqnarray*} \gamma \end{eqnarray*}$ die Verschiebung auf der x-Achse beurteilt. Da beide "Abschnitte" der kombinierten Verteilung nicht bei 0 anfangen benötige ich also diesen Parameter.

Wenn ich den Ansatz der Likelihood-Methode, wie du ihn aufgeschrieben hast, wähle, muss ich doch - wenn mich nicht alles täuscht - die $\begin{eqnarray*} ln L \end{eqnarray*}$ nach jeder der zu finden Variablen maximieren, bzw ableiten und Null setzen? Somit hätte ich dann quasi ein zu lösendes Gleichungssystem?

Ich habe gehört, dass es Möglichkeiten gibt, solche Probleme mit Open Source software zu lösen, da es für excel ggf zu lange dauern kann und zu komplex wird (Stichwort Fortran & GnuPlot).

22.11.2012, 14:35

Huggy

Auf diesen Beitrag antworten »

RE: Verteilungsfunktion aus Momenten entwickeln

Zitat:

Original von der Kleene
Wenn ich den Ansatz der Likelihood-Methode, wie du ihn aufgeschrieben hast, wähle, muss ich doch - wenn mich nicht alles täuscht - die $\begin{eqnarray*} ln L \end{eqnarray*}$ nach jeder der zu finden Variablen maximieren, bzw ableiten und Null setzen? Somit hätte ich dann quasi ein zu lösendes Gleichungssystem?

Das ist eine Möglichkeit. Dann hast du ein nicht-lineares Gleichungssystem, das numerisch gelöst werden muss.
Mit dem Solver ist das einfacher, weil er das Maximum sucht, ohne dass man das Gleichungssystem aufstellen muss. Er braucht nur die Formel für ln L und die Angabe, welche Größen in der Formel variabel sind. Die variiert er dann z. B. mit dem Gradientenverfahren, bis er ein Maximum gefunden hat.

Zitat:

Ich habe gehört, dass es Möglichkeiten gibt, solche Probleme mit Open Source software zu lösen, da es für excel ggf zu lange dauern kann und zu komplex wird (Stichwort Fortran & GnuPlot).

Ob der Solver zu lange braucht, könntest du ausprobieren. Man sollte so etwas eh erst mal mit einer kleinen Zahl von Datenpunkten testen.

Neue Frage »

Antworten »

Verteilungsfunktion aus Momenten entwickeln

Verwandte Themen