18、神经网络训练：加速、优化与泛化

神经网络训练：加速、优化与泛化

1. 训练加速与学习率

在神经网络训练中，学习率（q）和训练轮数（U）之间存在着密切的关系。以下是不同学习率对应的训练轮数：
| 学习率 (q) | 训练轮数 (U) |
| — | — |
| 0.9 | 932 |
| 1.7 | 494 |
| 3.0 | 280 |
| 5.0 | 160 |
| 10.0 | 121 |
| q > 10 | 收敛失败 |

从这个表格可以看出，学习率越大，通常所需的训练轮数越少，但当学习率超过10时，会出现收敛失败的情况。收敛情况还会受到初始权重向量的影响，相同的固定学习率在使用不同的初始权重向量时，会产生不同的训练轮数。

为了实现高效的训练，算法应该在训练过程中动态调整学习率。虽然这种调整需要额外的计算（更多地遍历训练集），但总体的训练计算量通常会大幅减少。

2. 准牛顿法和共轭梯度法

在无约束优化中，准牛顿（QN）方法和共轭梯度（CG）方法因其超线性收敛速度而备受青睐。这两种方法都是基于对给定目标函数的二次近似进行最小化，但它们之间也存在显著差异。

CG方法使用更简单的更新方法，易于编码，所需的浮点运算和内存较少（需要O(n)的内存位置）。系数$\gamma$是两个内积的商，在实际应用中有三种公式用于计算该系数：Fletcher - Reeves、Polak - Ribiere和Hestenes - Stiefel。

QN方法通常需要O(n²)的内存位置，这对于大型神经网络模型来说是一个重要的考虑因素。不过，QN方法对学习率计算的精度