Neural Networks for Machine Learning by Geoffrey Hinton (3)

Neural Networks for Machine Learning by Geoffrey Hinton (3)

训练感知机的方法并不能用以训练隐含层

• 训练感知机的方式是每次直接修正权重，最终得到满足所有凸锥里的权重。可行解的平均一定还是可行解。
• 对多层神经网络而言，2个可行解的平均并不一定是可行解。
  

  They should never have been called multi-layer perceptrons.

为何不解析求解神经网络？

• 我们希望了解神经网络具体工作方式。
• 我们需要能够扩展到深层神经网络的方法。

online delta-rule 与 感知机 learning rule 的区别与联系

• 感知机 learning rule 中，我们通过输入向量直接改变权重向量。

  然而我们只能在出现错误时才能够调整权重。

• online delta-rule 中，权重的修正量还带有残差和学习率作为系数。

  $$\Delta {w_i} = - \varepsilon \frac{{\partial E}}{{\partial {w_i}}} = \sum\limits_n {\varepsilon x_i^n\left( {{t^n} - {y^n}} \right)}$$

错误面（Error Surface）

对于线性神经元、平方误差时，错误面是一个抛物面。
- 错误面的纵切面是抛物线。
- 错误面的横切面是椭圆。

在线（Online）学习与批（Batch）学习

• 在线学习权重在走之字形路线，如图1。

• 批学习权重路线要平缓得多，如图2。

为何学习过程会这么慢？

在权重空间某2个维度具有一定的相关性时，错误面会被拉长，其横剖面就变成了一个长椭圆，如图3。

与我们希望刚好相反，如图的红色向量在短轴方向有巨大分量，而在长轴方向分量却很小。

为什么对于多层神经网络直接学习权重是不可行的？

• 如果每次只训练某一个权重，那么唯一的修正信号就是错误。这样每次修正都要把整个网络正向计算一遍。效率太低。
• 如果每次训练调整所有权重，那么有相当大的可能会使最终的输出更