65、误差反向传播算法详解

误差反向传播算法详解

1. 在线方法与批量方法对比

在神经网络训练过程中，参数更新有不同的方式，常见的有在线方法和批量方法。在线方法是通过顺序遍历数据或者有放回地随机选择数据点来重复更新参数；而批量方法则是基于一批数据点进行更新。

1.1 在线方法处理数据冗余的优势

在线方法在处理数据冗余方面比批量方法更高效。例如，将一个数据集的每个数据点复制一份，使数据集大小翻倍。这实际上只是将误差函数乘以 2，等同于使用原始误差函数。但批量方法需要双倍的计算量来评估批量误差函数的梯度，而在线方法则不受影响。

1.2 在线梯度下降逃离局部极小值的可能性

在线梯度下降还有可能逃离局部极小值。因为对于整个数据集的误差函数的驻点，通常不是每个数据点的误差函数的驻点。

2. 误差反向传播的基本概念

2.1 目标

我们的目标是找到一种高效的技术来评估前馈神经网络误差函数 (E(w)) 的梯度。误差反向传播（Error Backpropagation）就是这样一种通过局部消息传递方案实现的技术，其中信息在网络中交替地向前和向后传递。

2.2 术语澄清

“反向传播”在神经网络计算领域有多种含义。它有时指多层感知器架构，也用于描述使用梯度下降对多层感知器进行训练以最小化平方和误差函数的过程。为了明确术语，我们需要更仔细地考虑训练过程的本质。

2.3 训练过程的两个阶段

大多数训练算法涉及迭代过程来最小化误差函数，在每个步骤中可以分为两个不同的阶段：
- 第一阶段：计算误差函数关于权