Python记录 tensor求梯度时为None的错误

这篇博客讲述了在使用CUDA进行深度学习训练时遇到的梯度为None的问题。作者在计算对抗样本的过程中,发现对tensor求梯度得到的结果是None。问题出在将tensor转移至GPU之后,`requires_grad`属性被设置为了False。解决方案是确保在tensor转移到GPU之后再次设置`requires_grad=True`。这个小细节对于正确计算梯度至关重要。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

今天学习对抗样本,需要对tensor求梯度,

x1, x2, label = data
x1.requires_grad = True
x2.requires_grad = True
if use_gpu:
    x1 = x1.cuda()
    x2 = x2.cuda()
    label = label.cuda()
output1, output2 = net(x1, x2)
# 计算损失
loss = criterion(output1, output2, label)
# 将所有现有的渐变归零
net.zero_grad()
loss.backward()
# 收集grad
x1_grad = x1.grad
x2_grad = x2.grad

求得梯度为None
发现是requires_grad位置不对,应该是tensor放入cuda后,requires_grad 默认改成False

if use_gpu:
    x1 = x1.cuda()
    x2 = x2.cuda()
    label = label.cuda()
x1.requires_grad = True
x2.requires_grad = True 

解决

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值