2017年深度学习优化算法最新进展：改进SGD和Adam方法

2017年深度学习优化算法最新进展：如何改进SGD和Adam方法

转载的文章，把个人觉得比较好的摘录了一下

AMSGrad 这个前期比sgd快，不能收敛到最优。

sgdr 余弦退火的方案比较好

最近的一些研究（Dozat and Manning, 2017[13]、Laine and Aila, 2017[16]）通过实验发现，调低β2值，影响了Adam方法中过去平方梯度的指数移动平均值的贡献度。一般来说，β2的默认值为0.999，设置为0.99或0.9后，在不同任务中表现更好，这表明可能存在指数移动平均值的问题。

关于这个，在yolov3的环境里，我试了一下，没有发现更好

Zhang在2017年的一个研究表明[2]，在调整学习率退火方案和动量参数后，该SGD方法的性能与Adam有得一拼，而且收敛速度更快。另一方面，我们可能认为Adam方法中学习率的自适应性可能模仿了学习速率退火，但是一个明确的退火方案仍然是有帮助的。因为，如果我们把SGD方法中的学习率退火添加到Adam中，它能在机器翻译任务中表现得比SGD方法更好，且更快地收敛[4]。

事实上，学习率退火方案似乎是一种新的特征工程，因为我们发现，改进的学习率退火方案能改善模型的最终收敛性能。