18、神经网络学习中的优化方法与梯度因子中心化

神经网络学习中的优化方法与梯度因子中心化

1. 神经网络学习问题与新方法

在神经网络学习中，普通的反向传播学习规则会导致误差函数二阶导数矩阵的病态条件，进而在误差景观中产生局部极小值和鞍点。为解决这一问题，引入了一种对反向传播规则的改进方法，即线性增强前馈神经网络。

1.1 新方法的优势

通过对两组合成数据和两组真实数据的实验应用，发现新方法对局部极小值的敏感性大大降低，并且能在更少的迭代次数内达到最优值。

1.2 实验问题示例 - 齿轮箱变形数据

在控制新开发的轻型机械臂时会遇到齿轮箱变形数据的问题。齿轮箱连接直流电机和机械臂部分，为了将机械臂定位到所需的关节角度 $\theta_a$，直流电机需要施加力 $\tau$。但通常关节角度解码器仅在直流电机侧，测量角度为 $\theta_m$。由于齿轮箱的弹性，实际关节角度 $\theta_a$ 与 $\theta_m$ 略有不同，尝试从 $(\theta_m, \dot{\theta_m}, \tau)$ 中学习 $\theta_a$。

使用一个具有 3 个输入、单层 6 个隐藏单元和 1 个输出的网络进行学习。数据包含 4000 个学习样本和 4000 个用于交叉验证的样本。每次运行最多进行 10000 次学习迭代，但不超过过拟合点。

1.3 实验结果对比

普通前馈网络 N 和线性增强前馈网络 M 在四个问题上的结果如下表所示：
| 问题 | 网络 | % 局部极小值 | 平均步数 | 平均误差 |
| — | — | — | — | — |
| XOR | N | 22.4 | 189.