11、多层感知器训练技术详解

多层感知器训练技术详解

1. 误差反向传播概述

在多层感知器中，影响网络行为的关键参数是权重集合。机器学习的任务就是找到这些权重的最佳值，以优化网络的分类性能，而这通常通过训练来实现。误差反向传播就是一种能完成此任务的流行技术。

训练开始时，权重会被初始化为小的随机数，一般在 (-0.1, 0.1) 区间内。接着，训练示例会逐个输入网络进行前向传播，得到网络输出。将此输出与示例的目标向量对比，就能知道如何修改权重。处理完一个示例并修改权重后，再输入下一个示例。当处理完所有训练示例，就完成了一个训练周期。与线性分类器相比，多层感知器成功训练所需的周期数要多得多，可能达到数千甚至数万。

2. 梯度下降原理

在深入探讨权重调整公式之前，我们需要理解误差函数的特性。可以将误差函数想象成一个“景观”，其“山谷”代表局部最小值，最深的山谷就是全局最小值。训练的理想目标就是找到对应全局最小值的权重集合。

任何一组权重都对应着误差函数“景观”上的一个具体位置。权重的变化会导致在水平轴上坐标的改变，从而在误差函数上移动到新的位置。在误差反向传播技术中，我们希望权重的变化能使误差函数沿最陡的方向下降，这类似于爬山搜索中的下坡过程。

3. 误差反向传播计算

每个神经元对整体误差的贡献不同，确定每个神经元的“责任”有助于更合理地调整权重。在使用 Sigmoid 传递函数时，各层神经元的“责任”计算方式如下：
- 输出层神经元 ：$\delta_{i}^{(1)} = y_{i}(1 - y_{i})(t_{i} - y_{i})$
其中，$(t_{i} - y_{i})$ 是