20、自适应梯度高效训练与模型实验评估

自适应梯度高效训练与模型实验评估

1. 自适应梯度高效训练

为了进一步提升围棋落子预测模型的性能，除了随机梯度下降（SGD），还有其他优化器可供选择。SGD 的更新规则相对简单，对于参数 $W$，若反向传播误差为 $\Delta W$，学习率为 $\alpha$，则更新参数时只需计算 $W = W - \alpha \Delta W$。虽然这种更新规则在很多情况下能取得不错的效果，但也存在一些缺点。

1.1 SGD 中的衰减和动量

• 学习率衰减 ：一种常用的方法是让学习率随时间衰减，每进行一次更新，学习率就会变小。在训练初期，网络尚未学到任何知识，较大的更新步长有助于接近损失函数的最小值。但在训练达到一定程度后，应减小更新步长，对学习过程进行适当的细化，避免破坏已取得的进展。通常，通过衰减率来指定学习率的衰减，即每次更新时学习率降低的百分比。
• 动量 ：另一种流行的技术是动量，即将上一次更新步长的一部分添加到当前更新步长中。例如，若要更新参数向量 $W$，当前计算得到的梯度为 $\Delta W$，上一次的更新为 $U$，则下一次的更新步长为：$\Delta W_{new} = \beta U + \Delta W$，其中 $\beta$ 是动量项。如果两个梯度方向大致相同，下一次的更新步长会得到增强；如果方向相反，则会相互抵消，梯度会被减弱。可以将损失函数看作一个表面，参数看作表面上的一个球，参数更新描述了球的运动。如果最近几次的梯度方向大致相同，球会加速滚动，更快地到达表面的最低点。
• 在 Keras 中使用衰减和动量 </