Empirische Risikofunktion mit Regularisierungsterm ableiten+minimieren

01.11.2020, 15:37	mrclndr	Auf diesen Beitrag antworten »
Empirische Risikofunktion mit Regularisierungsterm ableiten+minimieren Hallo, habe ein Problem bei der folgenden Aufgabenstellung; es wird wohl irgendwo an der Matrizenrechnung scheitern (war jetzt nicht sicher, ob das unter Algebra, Analysis oder Sonstiges fällt; ggf. gerne verschieben). Ich soll die folgende Funktion nach dem Vektor $\begin{eqnarray} w\in \mathbb R ^{1+d} \end{eqnarray}$ optimieren (x von derselben Dimension wie w, y ein reeller Skalar), genauer einen optimalen Gewichtsvektor w* finden, der die Funktion minimiert: $\begin{eqnarray} \frac{1}{m}\sum\limits_{i=1}^{m} (w^{T}x_{i}-y_{i})^{2} + \lambda \|\|w\|\|_{2}^{2} \end{eqnarray}$ Das ist die empirical loss function für die lineare Regression, wie sie in der Volesung notiert ist, plus einem Regularisierungsterm (ridge/Tikhonov). Das ist einmal soweit mein Rechenweg -- erstmal je Term, also zunächst die loss function: $\begin{eqnarray} \frac{d}{dw} (\frac{1}{m}\sum\limits_{i=1}^{m} (w^{T}x_{i}-y_{i})^{2}) \Leftrightarrow \frac{2}{m}\sum\limits_{i=1}^{m} (w^{T}x_{i}-y_{i})x_{i}^{T} \Leftrightarrow \frac{2}{m}(w^{T}\sum\limits_{i=1}^{m} x_{i}x_{i}^{T}-\sum\limits_{i=1}^{m}y_{i}x_{i}^{T}) \end{eqnarray}$ Soweit hatten wir es auch in unserer Vorlesung (nur dass der Bruch, da Ableitung 0 gesetzt, wegfiel, was jetzt ja wegen dem zweiten Term erstmal nicht zulässig ist). Zweiter Term, die L2^2-Norm: Ich hätte es selber auch nicht hingekriegt, aber im Internet habe ich gefunden, dass diese abgeleitet inkl. dem gegebenen Skalar $\begin{eqnarray} \lambda 2w \end{eqnarray}$ ergibt. Ergibt gesamt als Minimierungsproblem nach w: $\begin{eqnarray} \frac{2}{m}(w^{T}\sum\limits_{i=1}^{m} x_{i}x_{i}^{T}-\sum\limits_{i=1}^{m}y_{i}x_{i}^{T}) + \lambda 2w=0 \end{eqnarray}$ Und da scheitere ich jetzt: Ich stelle erst einmal so um, dass ich den Regularisierungsterm auf beiden Seiten subtrahiere. Dann multipliziere ich beide Seiten mit m/2. Als Zwischenergebnis also: $\begin{eqnarray} w^{T}\sum\limits_{i=1}^{m} x_{i}x_{i}^{T}-\sum\limits_{i=1}^{m}y_{i}x_{i}^{T} = - \lambda 2mw \end{eqnarray}$ Ich subtrahiere dann noch das Produkt von Summe und w^T von beiden Seiten, sodass alle w oder w^T auf einer Seite sind: $\begin{eqnarray} -\sum\limits_{i=1}^{m}y_{i}x_{i}^{T} = - \lambda 2mw - w^{T}\sum\limits_{i=1}^{m} x_{i}x_{i}^{T} \end{eqnarray}$ Dann weiß ich aber nicht mehr weiter. Ich würde natürlich gerne das w herausheben, weiß aber nicht, ob/wie das geht, wenn es einmal nicht transponiert und einmal transponiert vorhanden ist. Im Grunde hätte ich einfach gerne ein w anstelle eines w und eines w_T und weiß nicht, wie ich das erzeuge. Das Ergebnis soll laut Lehrbuch so aussehen, mit $\begin{eqnarray} (\sum\limits_{i=1}^{m} x_{i}x_{i}^{T}):=A \end{eqnarray}$ und $\begin{eqnarray} \sum\limits_{i=1}^{m}y_{i}x_{i}:=b \end{eqnarray}$ : $\begin{eqnarray} (2\lambda mI+A)w=b \end{eqnarray}$ Aber in meiner Aufgabenstellung muss ich das erst in einem zweiten Schritt mit den Matrizen darstellen (dann eben noch entsprechend zurückstellen, sodass w wieder isoliert ist). Es wäre toll, wenn mir jemand hierbei Tipps geben könnte. Was ich im Internet finde, ist mir gerade einfach zu hoch bzw. überspringt zu viele Schritte. Vielen Dank!

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »