随机梯度下降SGD

随机梯度下降（SGD）在第k个训练迭代的更新

Require：学习率ϵkRequire：初始参数θwhile停止准则为满足do从训练集中采包含m个样本{x(1),...,x(m)}的小批量，其中x(i)对应目标为y(i)。计算梯度估计：g^←+1m∇θ∑iL(f(x(i);θ),y(i))应用更新：θ←θ−ϵg^end  while \begin{aligned} Requ&ire：学习率\epsilon_k \\Requ&ire：初始参数\theta \\wh&ile 停止准则为满足 do \\&从训练集中采包含m个样本\{x^{(1)},...,x^{(m)}\}的小批量，其中x^{(i)}对应目标为y^{(i)}。 \\&计算梯度估计：\hat{g} \leftarrow + \tfrac{1}{m}\nabla_\theta\textstyle\sum_iL(f(x^{(i)};\theta),y^{(i)}) \\&应用更新：\theta\leftarrow\theta-\epsilon\hat{g} \\en&d \;while \end{aligned} RequRequwhen​ire：学习率ϵk​ire：初始参数θile停止准则为满足do从训练集中采包含m个样本{x(1),...,x(m)}的小批量，其中x(i)对应目标为y(i)。计算梯度估计：g^​←+m1​∇θ​∑i​L(f(x(i);θ),y(i))应用更新：θ←θ−ϵg^​dwhile​
其中L表示损失函数，$\nabla$表示梯度计算，$f(x^{(i)};\theta )$表示在$\theta$的情况下，x的值，其实就是预测值
参考：https://zhuanlan.zhihu.com/p/36327151
https://zhuanlan.zhihu.com/p/31708783