28、在线梯度下降学习与平衡统计力学基础

在线梯度下降学习与平衡统计力学基础

在线梯度下降学习的动力学

在在线梯度下降学习中，噪声训练输入对渐近泛化性能的影响不仅取决于噪声方差 $\sigma^2$，还与学习率 $\eta$ 有关。当 $\eta \to 0$ 时，可获得 $E(t \to \infty)$ 的最优值，即使 $\sigma^2$ 较大，这一结论仍然成立。这意味着在 $E$ 的渐近值和达到该值的速度之间存在权衡。对于较小的学习率 $\eta$，渐近收敛速率与 $\eta$ 成正比，当 $\eta \to 0$ 时，相应的时间尺度 $\sim 1/\eta$ 会发散。

在实际应用中，从噪声数据中学习时，通常会使用随时间变化的学习率来达成折衷。具体操作步骤如下：
1. 初始阶段：使用相对较大的 $\eta$ 值，以实现快速收敛。
2. 后续阶段：逐渐将 $\eta$ 减小到零，例如 $\eta(t) \sim 1/t$ 被证明在渐近情况下是最优的，这样可以获得良好的渐近泛化性能。

下面是相关练习及解答思路：
| 练习编号 | 练习内容 | 解答思路 |
| ---- | ---- | ---- |
| 18.1 | 验证 $R = Q = 1$ 是运动方程 (18.12, 18.16) 的稳态；推导线性化运动方程 (18.18)；计算矩阵 $M$ 的特征值和特征向量；验证泛化误差的线性化表示 (18.22)；证明优化渐近收敛速率的学习率为 $\eta = (2/3)\eta_c$。 | 概念上不困难，但涉及较多代数运算。 |
| 18.2 | 对于 $g(z) = \text{erf}(z/\sqrt{2})$，明确计算 (18.29) 中的最后一项；