Regression als neuronales Netz

07.12.2023, 13:46	Romeo	Auf diesen Beitrag antworten »
Regression als neuronales Netz Ich möchte die lineare Einfachregression gerne als simples neuronales Netz mit einem linearen Layer grafisch darstellen. Könnte mir jemand beschreiben wie das aussähe bzw. kurz skizzieren? Vielen Dank für die Hilfe.
08.12.2023, 14:11	Finn_	Auf diesen Beitrag antworten »
Mit der Technik der neuronalen Netze habe ich mich noch nicht näher beschäftigt, kann aber darlegen, wie ich im ersten Ansatz vorgehen würde. Gegeben sind die Koordinaten $\begin{eqnarray} (x_i,y_i) \end{eqnarray}$ von $\begin{eqnarray} n \end{eqnarray}$ Punkten. Die fügt man zum Eingangsvektor zusammen, wobei als letzte Komponente noch die Zahl 1 hinzugefügt wird, um homogene Koordinaten zu erhalten, also $\begin{eqnarray} v = (x_0,y_0,x_1,y_1,\ldots,x_{n-1},y_{n-1},1)^T. \end{eqnarray}$ Mit einer Matrix $\begin{eqnarray} W^1 \end{eqnarray}$ von Gewichten berechnet man den Vektor $\begin{eqnarray} W^1 v, \end{eqnarray}$ auf den daraufhin elementweise eine Aktivierungsfunktion $\begin{eqnarray} \varphi \end{eqnarray}$ angewendet wird, wofür ich $\begin{eqnarray} f(v) := \mathrm{map}(\varphi,v) \end{eqnarray}$ schreiben will. Man gelangt damit zum Vektor $\begin{eqnarray} f(W^1 v), \end{eqnarray}$ der nun im hidden Layer steht. Auf diesen Vektor wird die Matrix $\begin{eqnarray} W^2 \end{eqnarray}$ zuzüglich Aktivierungsfunktion angewendet, um zum Vektor $\begin{eqnarray} (\hat a,\hat b,1)^T \end{eqnarray}$ der Regressionsgrade $\begin{eqnarray} y=\hat ax+\hat b \end{eqnarray}$ zu gelangen. Es gilt demnach $\begin{eqnarray} \begin{pmatrix}\hat a \\ \hat b\\ 1\end{pmatrix} = f(W^2f(W^1 v)). \end{eqnarray}$ Nun gibt man eine bekannte Gerade $\begin{eqnarray} y=ax+b \end{eqnarray}$ vor, zu der per Zufallsgenerator eine Streuung von Punkten erzeugt wird, die im Parametervektor $\begin{eqnarray} v \end{eqnarray}$ gespeichert werden. Zu den Punkten berechnet das noch untrainierte Netz nun aber $\begin{eqnarray} \hat a,\hat b. \end{eqnarray}$ Als Verlustfunktion für die Abweichung nehmen wir die Fehlerquadratsumme $\begin{eqnarray} L_v(W) := (a-\hat a)^2 + (b - \hat b)^2, \end{eqnarray}$ wobei $\begin{eqnarray} W=(W^1,W^2) \end{eqnarray}$ die Zusammenfassung sämtlicher Gewichte bezeichnen soll. Zum Parametervektor $\begin{eqnarray} v \end{eqnarray}$ wird die Minimalstelle $\begin{eqnarray} W \end{eqnarray}$ der Verlustfunktion per Gradientenverfahren gesucht. Der Gradient ist hierbei $\begin{eqnarray} \nabla L_v(W), \end{eqnarray}$ das heißt, es sind sämtliche partielle Ableitungen $\begin{eqnarray} \frac{\partial L_v}{\partial w^{k}_{ij}} \end{eqnarray}$ bezüglich $\begin{eqnarray} W^k = (w_{ij}^k) \end{eqnarray}$ zu berechnen, also die partielle Ableitung nach jedem der Gewichte. Abermals wird eine neue bekannte Gerade vorgelegt und die Prozedur bezüglich dieser wiederholt. Das Netz lernt. Jedenfalls müsste zumindest der Gedankengang richtig sein, dass zu einer endlichen Ansammlung $\begin{eqnarray} V \end{eqnarray}$ von Eingangsvektoren idealerweise das globale Minimum von $\begin{eqnarray} L(W) = \sum_{v\in V} L_v(W) \end{eqnarray}$ gesucht ist. Benötigtes Hilfsmittel ist eine Programmiersprache mit Bibliothek für Matrizenrechnung, am besten wo Funktionen dergestalt definiert werden können, dass diese automatisches Differenzieren gestatten. Beim Gradientenverfahren kann man mit dem Bisektionsverfahren beim jeweiligen Schritt eine günstige Schrittweite ermitteln, wobei das aber eine Fragestellung ist, die das Gradientenverfahren an sich betrifft. Da muss man ein wenig aufpassen, sonst wird die gesuchte Minimalstelle nicht oder nicht in absehbarer Zeit erreicht.
09.12.2023, 08:43	Romeo	Auf diesen Beitrag antworten »
Vielen Dank für deine Mühe, deine Überlegungen sind sehr hilfreich.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »