随机梯度下降与梯度下降的区别？

最新推荐文章于 2025-09-20 22:59:29 发布

原创最新推荐文章于 2025-09-20 22:59:29 发布 · 4.8k 阅读

7 ·

CC 4.0 BY-SA版权

适合初学者的机器学习理论与实践专栏收录该内容

26 篇文章

订阅专栏

本文探讨随机梯度下降与梯度下降的区别，解释两种方法在更新参数上的差异，并通过实例说明。梯度下降通过考虑所有样本的导数累加更新参数，而随机梯度下降则每次仅使用一个样本的导数进行更新。此外，还提到了随机梯度下降的动量优化策略。

如果你还不了解梯度下降请参考：知乎@Ai酱：{高中生能看懂的}梯度下降是个啥？。

随机梯度下降与梯度下降之间有什么区别？

假设你已经懂了梯度下降的原理与公式。接下来我会举个例子来讲随机梯度下降与梯度下降的区别。
假如损失（误差）函数对参数w的导数是 $x (w x - l a b e l)$ ，然后我们需要更新的参数是 $w$ ，学习率是 $\alpha$ 。
现在有一堆数据 ${(x_1,label_1),(x_2,label_2),(x_i,label_i),(x_n,label_n)}$ .
那么梯度下降会这么更新参数w：
$w=w-\alpha*\sum_{i=1}^n {(x_i(wx_i - label))}$
而随机梯度下降会这么做：

遍历i从1到n{
$w=w-\alpha* {(x_i(wx_i - label))}$
}

可以看到梯度下降中的导数部分是把所有样本代入到导数中，然后累加，然后更新参数。而随机梯度下降则是选一个样本计算一个导数，然后马上更新参数。
下面我用伪代码表示下随机梯度下降与梯度下降之间的区别：
梯度下降

x = [...]
lable = [...]
w = 0.666
learning_rate = 0.001
for(循环很多次){
	df_dw = 0
	for i in range(len(x)):
		df_dw += x[i]*(w*x[i]-label[i])
	pass
	w = w - learning_rate*df_dw
}

随机梯度下降

x = [...]
lable = [...]
w = 0.666
learning_rate = 0.001
for(循环很多次){
	for i in range(len(x)):
		df_dw = x[i]*(w*x[i]-label[i])
		w = w - learning_rate*df_dw
}

然后随机梯度下降有很多变种，比如增加动量来加速收敛。
本来是
$w=w+\alpha*f'(w)$ ，然后加了动量的就变成了：
$v=\gamma v$
$w=w+v+\alpha*f'(w)$

import math  
def f(x):  
        return x**3-2*x - 10 +x**2  
  
def derivative_f(x):  
         return 3*(x**2)+2*-2  
  
  
x=0.0  
y=0.0  
learning_rate = 0.001  
gradient=0  
e=0.00000001  
  
b1 = 0.9  
b2 = 0.995  
  
m = 0  
v = 0  
t = 0  
  
for i in range(10000):  
  
  
    print('x = {:6f}, f(x) = {:6f},gradient={:6f}'.format(x,y,gradient))  
    if(abs(gradient)>0.00001 and (abs(gradient)<0.0001)):  
        print("break at "+str(i))  
        break  
    else:  
  
        gradient = derivative_f(x)  
  
        t=t+1  
  
        'mt ← β1 · mt−1 + (1 − β1) · gt '  
        m = b1*m + (1-b1)*gradient  
  
        'vt ← β2 · vt−1 + (1 − β2) · g2'  
        v = b2*v +(1-b2)*(gradient**2)  
  
        'mt ← mt/(1 − βt1)'  
        mt = m/(1-(b1**t))  
  
        'vbt ← vt/(1 − βt2)'  
        vt = v/(1-(b2**t))  
  
  
        x = x- learning_rate * mt/(math.sqrt(vt)+e)  
  
        y=f(x)