Probleme bei Gradienten

17.06.2015, 20:49	Bierdeckel	Auf diesen Beitrag antworten »
Probleme bei Gradienten Ich beiß mir seit einiger Zeit bei einem Gradienten die Zähne aus. $\begin{eqnarray} \theta \end{eqnarray}$ ist dabei eine $\begin{eqnarray} nm \end{eqnarray}$ matrix und $\begin{eqnarray} x \end{eqnarray}$ ein $\begin{eqnarray} m \end{eqnarray}$ Einträge umfassender Vektor (oder eine passende Matrix). Der Ausdruck ist "eigentlich" recht Simple. $\begin{eqnarray} \nabla_{\theta} log({\theta} x) \end{eqnarray}$ Wenn ich den Term im einfachsten Fall einer 2x2 Matrix nach dem Element $\begin{eqnarray} \theta_{1,1} \end{eqnarray}$ ableite, dann erhalte ich eine Vektor: $\begin{eqnarray} \frac{ \partial \begin{pmatrix} log( \theta_{1,1}x_1 + \theta_{1,2}x_2 ) \\ log( \theta_{2,1}x_1 + \theta_{2,2}x_2 ) \end{pmatrix} } {\partial \theta_{1,1}} = \begin{pmatrix} \frac{x_1}{ \theta_{1,1}x_1 + \theta_{1,2}x_2 } \\ 0 \end{pmatrix} \end{eqnarray*}$ Auch für die anderen 3 Matrix Einträge bekommen ich einen 2 elementrigen Vektor. Also insgesammt 8 verschiedene Einträge. Der Gradient sollte aber doch nur 4 haben (Also eine 2x2 Matrix sein)? Irgenwo ist hier ein Fehler.... (Kann man das nicht der Einfachheit halber mit auf Matrizen adaptierten Ableitungsregeln lösen?) p.s Das ganze wird benötigt um einen Reinforcement Learning Algorithmus mit künstlichen neuronalen Netzen zu verwenden.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »