梯度下降与超参learning rate,weight decay,momentum

梯度下降

如何理解随机梯度下降（stochastic gradient descent，SGD）？ - Evan的回答 - 知乎
https://www.zhihu.com/question/264189719/answer/291167114

Learning Rate

学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面3种参数都是基于自适应的思路提出的解决方案，分别为：Weight Decay 权值衰减，Momentum 动量和Learning Rate Decay 学习率衰减。

SGD with Momentum

深度学习优化算法总(SGD,AdaGrad,Adam等) - 刘浪的文章 - 知乎
https://zhuanlan.zhihu.com/p/61955391
使用动量(Momentum)的SGD、使用Nesterov动量的SGD - G-kdom的文章 - 知乎
https://zhuanlan.zhihu.com/p/73264637