反向传播算法-机器学习（machine learning）笔记（Andrew Ng）

反向传播算法（back propagation algorithm）

基本概念

BP算法(即反向传播算法)是在有导师指导下，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。
旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去。

$$\delta^{(l)}_j="error"\,of\,node\,j\,in\,layer\,l.$$
$\delta$代表的是假设 $h(x)$的输出和训练集 $y$值之间的差，即
$$\delta^{(l)}_j=a^{(l)}_j-y_j$$
如果把 $\delta,a,y$都看做向量，则可以用向量化表达式来表示：
$$\delta^{(l)}=a^l-y$$
接下来计算前面几层（隐含层直到输出层）的误差：

$$\delta^{(l-1)}=(\Theta^{(l-1)})^T\delta^{(l)}.*g^\prime(z^{(l-1)})$$
$$...$$
$$\delta^{(2)}=(\Theta^{(2)})^T\delta^{(3)}.*g^\prime(z^{(2)})$$

$.*$是两个向量间元素对应相乘，没有$\delta^{(1)}$，因为那是我们在训练集所观察到的，不会有误差。
在算法的开始，我们令

$$\Delta^{(l)}_{ij}=0$$
然后计算出所有的 $\delta$之后，对其在 $\Delta$上进行累加：
$$\Delta^{(l)}_{ij}:=\Delta^{(l)}_{ij}+a^{(l)}_j\delta^{(l+1)}_i$$
将其写成向量形式， $ij$对应矩阵下标，可以得到：
$$\Delta^{(l)}:=\Delta^{(l)}+\delta^{(l+1)}(a^{(l)})^T$$
接下来，我们分情况计算：
$$D^{(l)}_{ij}:=\frac{1}{m}\Delta^{(l)}_{ij}+\lambda\Theta^{(l)}_{ij},if\,j\neq0$$
$$D^{(l)}_{ij}:=\frac{1}{m}\Delta^{(l)}_{ij},if\,j=0$$
通过证明可以发现：
$$\frac{\partial}{\partial \Theta^{(l)}_{ij}}J(\Theta)=D^{(l)}_{ij}$$
未完…