Term umformen, um lineare Gleichungen zu erhalten (Bishop - Pattern Recognition & Machine Learning)

25.09.2018, 15:15	Naryxus	Auf diesen Beitrag antworten »
Term umformen, um lineare Gleichungen zu erhalten (Bishop - Pattern Recognition & Machine Learning) Hey, ich bearbeite die Aufgabe 1.2 des Buches "Pattern Recognition & Machine Learning" von Bishop. Hier geht es grob um das Curve Fitting Problem. Dort war in einer vorigen Aufgabe zu zeigen, dass bei einer gegebenen Funktion eines Polynoms des Grades $\begin{eqnarray} M \end{eqnarray}$ $\begin{eqnarray} y(x, w) = \sum_{j = 0}^M w_j x^j \end{eqnarray}$ und einer Fehlerfunktion $\begin{eqnarray} E(w) = 0.5 \sum_{n = 1}^N (y(x_n, w) - t_n)^2 \end{eqnarray}$ für $\begin{eqnarray} N \end{eqnarray}$ gegebene Stützpunkte $\begin{eqnarray} (x_n, t_n) \end{eqnarray}$ gilt: $\begin{eqnarray} \sum_{j = 0}^M A_{ij}w_j = T_i \end{eqnarray}$ mit $\begin{eqnarray} A_{ij} = \sum_{n = 1}^N(x_n)^{i + j} \end{eqnarray}$ und $\begin{eqnarray} T_i = \sum_{n = 1}^N(x_n)^i t_n \end{eqnarray}$ Das habe ich auch soweit geschafft. Als kurze Beweisskizze: Man geht über die partielle Ableitung eines Koeffizients $\begin{eqnarray} w_i \end{eqnarray}$ und setzt diese dann gleich Null. In meiner Aufgabe ist nun aber die Fehlerfunktion $\begin{eqnarray} \tilde E(w) = 0.5 \sum_{n = 1}^N (y(x_n, w) - t_n)^2 + \lambda / 2 \\|w\\|^2 \end{eqnarray}$ mit $\begin{eqnarray} \\|w\\|^2 = w^Tw \end{eqnarray}$ gegeben, für die man eine analoge lineare Gleichung wie oben finden soll. Hier bin ich mir nicht sicher, was genau gefordert ist. Ich bin zunächst wie in der ersten Aufgabe vorgegangen und habe die partielle Ableitung gebildet: $\begin{eqnarray} \frac{\partial \tilde E}{\partial w_i}(0.5 \sum_{n = 1}^N (y(x_n, w) - t_n)^2 + \lambda / 2 \\|w\\|^2) = \frac{\partial \tilde E}{\partial w_i}(0.5 \sum_{n = 1}^N (y(x_n, w) - t_n)^2) + \frac{\partial \tilde E}{\partial w_i}( \lambda / 2 \\|w\\|^2) = \sum_{j = 0}^M A_{ij}w_j - T_i + \lambda / 2 \frac{\partial \tilde E}{\partial w_i}(\\|w\\|^2) = \sum_{j = 0}^M A_{ij}w_j - T_i + \lambda / 2 \cdot 2w_i = \sum_{j = 0}^M A_{ij}w_j - T_i + \lambda w_i \end{eqnarray}$ Nun könnte ich dies wieder gleich Null setzen und erhalte $\begin{eqnarray} \sum_{j = 0}^M (A_{ij}w_j) + \lambda w_i = T_i \end{eqnarray}$ Hier fehlt mir nun die Idee, wie ich dies in ein schönes LGS umformen kann (für die Koeffizienten $\begin{eqnarray} w_i \end{eqnarray}$ ), sodass ich dann beispielsweise Gauß anwenden kann... Grüße, Naryxus
25.09.2018, 15:54	URL	Auf diesen Beitrag antworten »
RE: Term umformen, um lineare Gleichungen zu erhalten (Bishop - Pattern Recognition & Machine Learni Da steht schon $\begin{eqnarray} Aw+\lambda Iw=T \end{eqnarray}$ wobei $\begin{eqnarray} I \end{eqnarray}$ die Einheitsmatrix ist.
25.09.2018, 16:24	Naryxus	Auf diesen Beitrag antworten »
Danke, da bin ich inzwischen auch drauf gestoßen. Es gibt aber keine Möglichkeit das für jede "Zeile" der Matrizen umzuformen? Also wie oben in die Summe über die $\begin{eqnarray} A_{ij} \end{eqnarray}$ und $\begin{eqnarray} w_j \end{eqnarray}$ oder?
25.09.2018, 19:08	URL	Auf diesen Beitrag antworten »
Man kann die Inverse von $\begin{eqnarray} A+\lambda I \end{eqnarray}$ - wenn sie denn überhaupt existiert - mit Hilfe ihrer Adjunkten also mittels der Koeffizienten von $\begin{eqnarray} A+\lambda I \end{eqnarray}$ beschreiben. Das wird reichlich unhandlich und warum sollte man das tun, wenn man $\begin{eqnarray} w=(A+\lambda I)^{-1}T \end{eqnarray}$ haben kann?

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »