BP 算法 (Back-propagation Algorithm) 之较直观的解释

0. 前言

之前上模式识别课程的时候，老师也讲过 MLP 的 BP 算法，但是 ppt 过得太快，只有一个大概印象。后来课下自己也尝试看了一下stanford deep learning 的 wiki，还是感觉似懂非懂，不能形成一个直观的思路。趁着这个机会，我再次 revisit 一下。本文对自己思路进行一些整理，分享自己的一些心得。

1. LMS 算法

故事还要从线性 model 说起～在线性 model 里面，常见的有感知机学习算法、 LMS 算法等。感知机算法的损失函数是误分类点到 Target 平面的总距离，直观解释如下：当一个实例点被误分，则调整 w， b 的值，使得分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，在 Bishop 的 PRML一书中，有一个非常优雅的图展现了这个过程。但是了解了 MLP 的 BP 算法之后，感觉这个算法更多是受 LMS 算法的启发，虽然从名字上 MLP 叫做多层感知机，感知机算法是单层感知机。

LMS (Least mean squares) 算法介绍比较好的资料是 Andrew Ng cs229 的 Lecture Notes。假设我们的线性 model 是这样的：

在上面这个模型中，用公式可以表达成：

$h_\theta {(x)} = \theta ^Tx=\theta _{1}x_1+\theta _2x_2 +\theta _0$

如何判断模型的好坏呢？损失函数定义为输出值 h(x) 与目标值 y 之间的“二乘”：

对偏导进行求解，可以得到：

如果要利用 gradient descent 的方法找到一个好的模型，即一个合适的 theta 向量，迭代的公式为：

所以，对于一个第 i 个单独的训练样本来说，我们的第 j 个权重更新公式是：

$\theta _j=\theta _j+\alpha (y^{(i)} - h_\theta (x^{(i)})) x_j^{i}$

这个更新的规则也叫做 Widrow-Hoff learning rule，从上到下推导下来只有几步，没有什么高深的理论，但是，仔细观察上面的公式，就可以发现几个 natural and intuitive 的特性。

首先，权重的更新是跟 y - h(x) 相关的，如果训练样本中预测值与 y 非常接近，表示模型趋于完善，权重改变小。反之，如果预测值与 y 距离比较远，说明模型比较差，这时候权重变化就比较大了。
我的理解：权重的变化还与 xi 也就是输入节点的值相关（废话）。也就是说，在同一次 train 中，由于 y - h(x) 相同，细线上的变化与相应的输入节点 x 的大小是成正比的(参考最上面的模型图）。这中间体现的规律就是：残差的影响是按照 xi 的大小按比例分配到权重上去滴，这里的残差就是 h(x) - y. 从直观的角度，俺觉得这才是理解 BP 向后传播残差的关键。

LMS 算法暂时先讲到这里，后面的什么收敛特性、梯度下降之类的有兴趣可以看看 Lecture Notes。

2. MLP 与 BP 算法

前面我们讲过 logistic regression， logistic regression 本质上是线性分类器，只不过是在线性变换后通过 sigmoid 函数作非线性变换。而神经网络 MLP 还要在这个基础上加上一个新的nonlinear function, 为了讨论方便，这里的 nonlinear function 都用 sigmoid 函数，那么， MLP 的结构就可以用下面这个图来表示：

z: 非线性变换之前的节点值
a: 非线性变换之后的 activation 值

现在我们要利用 LMS 中的想法来对这个网络进行训练。

假设在某一个时刻，输入节点接受一个输入， MLP 将数据从左到右处理得到输出，这时候产生了残差。在第一小节中，我们知道， LMS 残差等于 h(x) - y。 MLP 的最后一层和 LMS 线性分类器非常相似，我们不妨先把最后一层的权重更新问题解决掉。在这里输出节点由于增加了一个非线性函数，残差的值比 LMS 的残差多了一个求导：