qfikh的博客

Ref：https://blog.youkuaiyun.com/weixin_42398658/article/details/84502215https://blog.youkuaiyun.com/weixin_42398658/article/details/84525917SGD ：参数=旧参数 - 学习率*梯度（1）改变梯度：动量SGD：（2）改变学习率：AdaGrad -->引入衰...

Ref：https://www.zhihu.com/question/323747423/answer/790457991首先看一下下面的流程图，机器学习中常用的一个有梯度优化算法之间的关系：随机梯度下降SGD：随机采样一个样本，根据预测值和真实值得到损失，然后计算损失函数对参数的偏导数，来对参数进行更新动量法momentum：动量法在梯度下降法的基础上加入一个动量变量来控制...