神经网络梯度反向传播公式

考虑三层网络：

输出层没有激活函数，只有中间层有：
$$y=W_{out}\cdot tanh(W_{in}\cdot x)$$
对其做拆分：
$$y=W_{out}\cdot A$$
$$A=tanh(Z)$$
$$Z=W_{in}\cdot x$$
其中，A 代表 activation，即通过激活函数后的值。

损失函数 Loss：
$$L=\frac{1}{2}||y-\bar{y}|{|}^2$$
故
$$\delta y=y-\bar{y}$$
$$\delta W_{out}=\delta y\cdot A^T$$
$$\delta A=W_{out}^T\cdot \delta y$$
$$\delta Z=\delta A\odot tan{h}^{\prime }(Z)=\delta A\odot (1-tan{h}^2(Z))$$
$$\delta W_{in}=\delta Z\cdot x^T$$
其中 $\odot$ 表示矩阵对应元素相乘。