牛客题解 | SGDM（带动量的随机梯度下降）

wc529065

于 2025-03-18 12:08:31 发布

阅读量664

点赞数 21

CC 4.0 BY-SA版权

分类专栏：牛客机器学习编程题题单文章标签： python 开发语言算法力扣面试

本文链接：https://blog.youkuaiyun.com/wc529065/article/details/146338036

牛客机器学习编程题题单专栏收录该内容

90 篇文章

订阅专栏

题目

题目链接

SGDM(带冲量的随机梯度下降)是SGD的一种改进，在SGD的基础上增加了冲量，可以加速收敛。
简单点说，就是每次更新参数时，不仅考虑当前的梯度，还考虑之前的梯度。使用动量代替梯度。
梯度下降以及批量梯度下降的原理不再赘述，这里只给出SGDM的公式：

$\theta_{t+1} = \theta_t - \eta \cdot \nabla J(\theta_t) - \gamma \cdot \theta_t$

其中， $\theta_t$ 是第 $t$ 次迭代时的参数， $\eta$ 是学习率， $\nabla J(\theta_t)$ 是第 $t$ 次迭代时的梯度， $\gamma$ 是冲量系数。

代码实现：

def sgdm_linear_regression(X, y, learning_rate, momentum_decay, epochs):
    m, n = X.shape
    theta = np.zeros((n, 1))
    v = np.zeros((n, 1))
    for _ in range(epochs):
        y_pred = np.dot(X, theta)  # 计算预测值
        error = y_pred - y  # 计算误差
        gradient = (1 / m) * np.dot(X.T, error)  # 计算梯度
        v = momentum_decay * v + learning_rate * gradient  # 更新动量
        theta -= v  # 更新参数
    return np.round(theta.flatten(), 2).tolist()