深度学习笔记（一）：神经网络的反向传播算法

前向传播神经网络的目标函数

对于一系列的训练样本 X，期望的输入为 $t=(t_1,...,t_c)$，网络的实际输出 $z=(z_1,...,z_c)$，定义目标函数为
$$J(w)=\frac{1}{2}||t-z|{|}^2=\frac{1}{2}\sum _{k=1}^c(t_k-z_k{)}^2$$
即各输出误差的平方的累加，由此产生的问题是：如何计算目标函数的最小值？
常用的方法为 梯度下降法

梯度下降

如图表示的是参数 $w$ 与目标函数 $J(w)$ 的关系图，红色部分表示目标函数有着较高的取值，需要使目标函数的值尽量的低，也就是深蓝色的部分，$w_1,w_2$ 表示 $w$
向量的两个维度。

梯度下降 的步骤是：先确定一个初始点，将 $w$ 按照梯度下降的方向进行调整，就会使得 $J(w)$ 往更低的方向进行变化，算法的结束将是在 $w$ 下降到无法继续下降为止。
$$w(m+1)=w(m)+\Delta w(m)=w(m)-\eta \frac{\partial J}{\partial w}$$

输出层权重改变量

由链式求导法则，目标函数 $J(w)$ 对 $w_{kj}$(对应隐藏层与输出层之间的权重) 求偏导为


其中 $f^{\prime }(ne{t}_k)$ 对应输出层激活函数的导数，
如 Sigmoid 函数，$z_k=f(ne{t}_k)=Sigmoid(ne{t}_k)$

隐藏层权重改变量

由目标函数 $J$ 对 $w_{ji}$(输入层与隐藏层之间的权重)求导可得

其中 $ne{t}_j={\sum }_{m=1}^d{W}_{jm}{X}_m$ 表示隐藏层单元的总输入

由此计算隐藏层权重改变量，其中

误差传播迭代公式

输出层和隐藏层的误差传播公式可统一为：

• 权重增量 = -1 $\times$ 学习步长 $\times$ 目标函数对权重的偏导数
• 目标函数对权重的偏导数 = -1 $\times$ 残差 $\times$ 当前层的输入
• 残差 = 当前层激励函数的导数 $\times$ 上层反传来的误差
• 上层反传来的误差 = 上层残差的加权和

隐藏层误差反向传播示意

反向传播算法举例

假定输入样本的自变量为 (0.35, 0.9)，因变量为 0.5，初始的权重函数如上图所示

AP = 0.1； AQ = 0.4； PO = 0.3
BP = 0.8； BQ = 0.6； QO = 0.9

三个神经元都使用 Sigmoid 函数作为激活函数 $f(x)=\frac{1}{1+e^{-x}}$，X 等于输入的权重和。
将 P 上的函数记为 p，Q 上的函数记为 q，O 上的函数记为 o，例如
$$P(A,B)=\frac{1}{1+e^{-(AP\ast A+BP\ast B)}}=\frac{1}{1+e^{-(0.1\ast 0.35+0.9\ast 0.8)}}=0.68$$
同理计算：
$$\mathrm{P}(\mathrm{A},\mathrm{B})=0.68;\mathrm{Q}(\mathrm{A},\mathrm{B})=0.6637;\mathrm{O}(\mathrm{P},\mathrm{Q})=0.69$$
计算目标损失函数 $\xi =\frac{1}{2}{e}^2=\frac{1}{2}(0.69-0.5{)}^2=0.01805$，我们希望通过调节 PO，QO 使其变小。
使用梯度下降法
∂ξ∂PO=∂ξ∂e∗∂e∂o∗∂o∂PO={e}∗{O∗(1−O)}∗{P} \frac{\partial \xi}{\partial \mathrm{PO}}=\frac{\partial \xi}{\partial \mathrm{e}} * \frac{\partial \mathrm{e}}{\partial \mathrm{o}} * \frac{\partial \mathrm{o}}{\partial \mathrm{P} \mathrm{O}}=\{\mathrm{e}\} *\{O *(1-O)\} *\{\mathrm{P}\} ∂PO∂ξ​=∂e∂ξ​∗∂o∂e​∗∂PO∂o​={e}∗{O∗(1−O)}∗{P}
$$=(0.69-0.5)\ast 0.69\ast (1-0.69)\ast 0.68=0.02763$$
$$\frac{\partial \xi }{\partial QO}=e\ast f(x)(1-f(x))\ast Q=(0.69-0.5)\ast 0.69\ast (1-0.69)\ast 0.6673=0.02711$$
更新隐藏层与输出层权重 $PO$ 与 $QO$
$$P{O}^{\ast }=PO-\frac{\partial \xi }{\partial PO}=0.2723$$
$$Q{O}^{\ast }=QO-\frac{\partial \xi }{\partial QO}=0.8730$$
∂ξ∂AP=∂ξ∂e∗∂e∂o∗∂o∂p∗∂pAP={e}∗{O(1−O)}∗{PO∗}∗{(1−P)∗P}∗{A} \frac{\partial \xi}{\partial \mathrm{AP}}=\frac{\partial \xi}{\partial \mathrm{e}} * \frac{\partial \mathrm{e}}{\partial \mathrm{o}} * \frac{\partial \mathrm{o}}{\partial \mathrm{p}} * \frac{\partial \mathrm{p}}{\mathrm{AP}}=\{\mathrm{e}\} *\{\mathrm{O}(1-O)\} *\left\{\mathrm{PO}^{*}\right\} *\{(1-\mathrm{P}) * \mathrm{P}\} *\{\mathrm{A}\} ∂AP∂ξ​=∂e∂ξ​∗∂o∂e​∗∂p∂o​∗AP∂p​={e}∗{O(1−O)}∗{PO∗}∗{(1−P)∗P}∗{A}
更新输入层与隐藏层权重 $AP，BP，AQ，BQ$
$$A{P}^{\ast }=AP-\frac{\partial \xi }{\partial AP}=0.09916$$
$$B{P}^{\ast }=BP-\frac{\partial \xi }{\partial BP}=0.7978$$
$$A{Q}^{\ast }=AQ-\frac{\partial \xi }{\partial AQ}=0.3972$$
$$B{Q}^{\ast }=BQ-\frac{\partial \xi }{\partial BQ}=0.5928$$