mxnet中自动求梯度遇到的坑：梯度不变化

最新推荐文章于 2022-10-30 15:02:39 发布

原创最新推荐文章于 2022-10-30 15:02:39 发布 · 542 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mxnet #机器学习 #深度学习

瞎捣鼓专栏收录该内容

12 篇文章

订阅专栏

博主在自学深度学习时遇到一个问题，即在实现多元线性回归时，模型的梯度值在训练过程中始终不变，导致结果与预期相差甚远。经过排查发现，原始代码中`autograd.record()`部分应放在循环内部。修复后的代码将梯度更新步骤放入循环，使得模型能够正常训练并得到预期结果。这是一个关于深度学习模型训练中梯度更新常见错误的解决案例。

问题描述

最近笔者在自学深度学习，为了巩固mxnet自动求梯度的用法，决定手动实现一下最简单的多元线性回归算法
但在实现过程中，发现最终的结果与实际值相差很大，最后查看日志发现，是梯度值一直都没有变化
原始的部分代码如下

solve_w=nd.random.normal(scale=0.01,shape=(3,))
solve_w.attach_grad()

with autograd.record():
    a = loss(solve_w)
a.backward()

for i in range(1000):
    grad=solve_w.grad
    print(grad)
    solve_w[:]=solve_w-0.01*grad

其中loss是平方均值损失函数，通过在这里面添加日志发现，这个函数只被调用了一次

解决方案

最后通过比对与网上的代码，发现

with autograd.record():
    a = loss(solve_w)
a.backward()

这段代码需要放在for循环里面
最终代码改成

solve_w=nd.random.normal(scale=0.01,shape=(3,))
solve_w.attach_grad()

for i in range(1000):
    with autograd.record():
        a = loss(solve_w)
    a.backward()

    grad=solve_w.grad
    print(grad)
    solve_w[:]=solve_w-0.01*grad