Regressionsrechnung - Passende Modellgleichung gesucht

10.04.2013, 22:59	matzmatz	Auf diesen Beitrag antworten »
Regressionsrechnung - Passende Modellgleichung gesucht Liebe Forumsgemeinde, vielleicht könnt ihr mir bei meinem Problem behilflich sein. Im Rahmen einer studentischen Arbeit beschäftige ich mich mit multipler linearer Regressionsanalyse. Um die genaue Problemstellung aufzeigen zu können, müsse ich zu weit ausholen (der Beitrag ist ohnehin schon sehr lang, sorry). Deshalb werde ich versuchen mein Anliegen möglichst allgemein zu beschreiben. Ich habe Proben zur Verfügung, die durch die Parameter $\begin{eqnarray} y \end{eqnarray}$ und $\begin{eqnarray} x_1, x_2, ..., x_k \end{eqnarray}$ gekennzeichnet sind. Für eine konkrete (z. B. die i-te) Probe können die Werte ( $\begin{eqnarray} y_i \end{eqnarray}$ und $\begin{eqnarray} x_{i,1}, x_{i,2}, ..., x_{i,k} \end{eqnarray}$ ) der Parameter messtechnisch sehr genau bestimmt werden. Jedoch ist der Wert des Parameters $\begin{eqnarray} y \end{eqnarray}$ deutlich aufwendiger zu ermitteln, weshalb ich diesen aus den sehr einfach zu bestimmenden Werten der Parameter $\begin{eqnarray} x_1, x_2, ..., x_k \end{eqnarray}$ schätzen möchte. Also habe ich zunächst folgenden Ansatz gewählt, der dem Standardmodell aus der Literatur entspricht: (1) $\begin{eqnarray} Y=\alpha_0+\alpha_1 \cdot x_1+\alpha_2 \cdot x_2+...+\alpha_k \cdot x_k+\epsilon \end{eqnarray}$ , wobei die Störgröße $\begin{eqnarray} \epsilon \end{eqnarray}$ und folglich auch die Zielgröße $\begin{eqnarray} Y \end{eqnarray}$ Zufallsvariablen sind. Die Störgröße ist dabei normalverteilt. Genau genommen habe ich keine einfache Schätzung der Koeffizienten nach der Methode der kleinsten Quadrate durchgeführt, sondern im Modell mittels schrittweiser Regression nur die relevanten Eingangsgrößen berücksichtigt. Die Ergebnisse waren sehr zufriedenstellend, auf Basis des resultierenden Modells können die Werte der Zielgröße genügend genau aus den Werten der Eingagngsgrößen geschätzt werden. Jedoch habe ich einige Probleme bei der mathematischen Formulierung der für mein Problem korrekten Modellgleichung. In der Literatur habe ich neben dem Modell (1) noch einen weiteren Modellansatz gefunden, bei dem die Eingangsgrößen jedoch Zufallsvariablen sind (daher im Folgenden mit Großbuchstaben ausgedrückt): (2) $\begin{eqnarray} Y=\alpha_0+\alpha_1 \cdot X_1+\alpha_2 \cdot X_2+...+\alpha_k \cdot X_k+\epsilon \end{eqnarray}$ Problem a) Laut Literatur sind bei einem Modell (1) die Eingangsgrößen nicht zufällig, sondern sogar einstellbar. In meinem Fall ist es nun so, dass die Werte $\begin{eqnarray} x_{i,1}, x_{i,2}, ..., x_{i,k} \end{eqnarray}$ der Eingangsgrößen für eine konkrete Probe näherungsweise konstant sind, da die entsprechenden Werte sehr genau und reproduzierbar zu bestimmen sind. So genommen sind die Werte also nicht zufällig. Jedoch kann ich die Werte $\begin{eqnarray} x_{i,1}, x_{i,2}, ..., x_{i,k} \end{eqnarray}$ nicht beliebig einstellen, sondern sie sind für eine zufällig aus der Kiste gegriffene Probe in diesem Sinne zufällig aber konstant. Mein Bauchgefühl sagt mir, dass Modell (1) korrekt ist. Jedoch beruht mein Bauchgefühl nur darauf, dass meine Ergebnisse so gut sind. Denn für den Fall, dass die Eingangsgrößen Zufallsgrößen sind, würde ich eine größere Abweichung zwischen beobachteten Werten und Schätzwerten erwarten. Welches Modell ist nun für meine Problemstellung zu verwenden? Problem b) Laut Literatur sind bei einem Modell (1) die Residuen normalverteilt mit dem Mittelwert 0. Daher (und dies sieht man oft auf Internetseiten, auf denen eine Ausgleichsgerade geschätzt wird) kann und wird es in der Regel vorkommen, dass an derselben Stelle $\begin{eqnarray} x_i \end{eqnarray}$ verschiedene $\begin{eqnarray} y_i \end{eqnarray}$ -Werte beobachtet werden. In meinem Fall ist es jedoch so, dass für dieselbe Stelle $\begin{eqnarray} x_{i,1}, x_{i,2}, ..., x_{i,k} \end{eqnarray}$ näherungsweise derselbe $\begin{eqnarray} y \end{eqnarray}$ -Wert vorliegt. Zufällige Schwankungen des $\begin{eqnarray} y \end{eqnarray}$ -Werts an einer Stelle $\begin{eqnarray} x_{i,1}, x_{i,2}, ..., x_{i,k} \end{eqnarray}$ sind zu vernachlässigen. Vielmehr habe ich für feste Werte der Eingangsgrößen im Mittel eventuell (zwei Proben mit exakt identischen Werten der Eingangsgrößen habe ich leider nicht) sogar eine (wenn auch kleine) systematische Differenz zwischen dem beobachteten Wert der Zielgröße und deren Schätzwert. Daher kann Modell (1) nicht stimmen, denn meine Residuen sind (zumindest für eine feste Stelle) sehr wahrscheinlich nicht normalverteilt mit einem Erwartungswert von 0. Ursache dafür ist meiner Meinung nach, dass die Modellgleichung (mit ausschließlich linearen Zusammenhängen) nicht 100% korrekt, für die Praxis jedoch ausreichend genau ist. Analog stelle ich mir das so vor, wie wenn man eine vom korrekten Zusammenhang her "geschlängelte" Kurve durch eine Gerade annähert. Andererseits ist zu beachten, dass (wie bereits zuvor erwähnt) die Werte $\begin{eqnarray} x_{i,1}, x_{i,2}, ..., x_{i,k} \end{eqnarray}$ nicht beliebig einstellbar sind. Vielmehr sind die Werte für eine zufällige Probe zufällig aber konstant und alle Proben werden in meinen Experimenten zufälllig ausgewählt. Wenn also eine große Anzahl an Proben betrachtet wird, scheinen die Residuen wieder zumindest näherungsweise normalverteilt mit dem Erwartungswert 0 zu sein. Das ist wohl darauf zurückzuführen, dass der für viele Stellen einzeln betrachtet systematische Wert in der Gesamtheit zufällig ist. Oder anders ausgedrück: Der Fehler ist nur deshalb zufällig und normalverteilt, weil die Proben zufällig ausgewählt werden. Also eigentlich sollte (zumindest für mich als Nicht-Mathematiker) meine Modellgelichung wie folgt aussehen, wobei die zufällige Störgröße von der zufälligen Stelle abhängt: (3) $\begin{eqnarray} Y=\alpha_0+\alpha_1 \cdot x_1+\alpha_2 \cdot x_2+...+\alpha_k \cdot x_k+\epsilon(x_{i,1}, x_{i,2}, ..., x_{i,k}) \end{eqnarray}$ Gibt es eine solches Modell bzw. ist das sinnvoll? Was wäre dabei zu beachten? Oder soll ich lieber auf Modell (1) zurückgreifen und lediglich auf diese Problematik hinweisen? Gruß und danke für eure Antworten! Matz Kleiner Nachtrag: Vielleicht könnte man anstelle von Modell (3) auch eines der folgenden Modelle nutzen? (4) $\begin{eqnarray} y=\alpha_0+\alpha_1 \cdot x_1+\alpha_2 \cdot x_2+...+\alpha_k \cdot x_k+f(x_{i,1}, x_{i,2}, ..., x_{i,k}) \end{eqnarray}$ , wobei die Zielgröße nun keine Zufallsgröße ist und auch auf der rechten Seite keine Zufallsgröße mehr sondern ein funktionaler Zusammenhang steht. Dabei sehe ich aber das Problem, dass die Regressionsrechnung gerade eben eine normalverteiilte Störgröße voraussetzt, oder etwa nicht? (5) $\begin{eqnarray} Y=\alpha_0+\alpha_1 \cdot x_1+\alpha_2 \cdot x_2+...+\alpha_k \cdot x_k+f(x_{i,1}, x_{i,2}, ..., x_{i,k})+\epsilon \end{eqnarray}$ , wobei die Zielgröße eine Zufallsgröße ist und auch auf der rechten Seite eine (in der Praxis vernachlässigbare) Zufallsgröße sowie ein nicht bei der Parametereschätzung berücksichtigter funktioneller Zusammenhang steht. Ich habe den Inhalt des zweiten Beitrags hier reinkopiert und den Beitrag gelöscht, weil es sonst auf den ersten Blick so aussieht, als ob schon jemand hilft. Steffen

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »