pytorch: autograd中backward

本文深入探讨PyTorch的autograd模块,通过实例解析backward函数如何计算梯度,特别是在输出为张量且各损失权重不同时的情景下。阐述了如何通过指定权重调整不同损失对最终梯度的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

pytorch: autograd中backward

输出值是标量:

import torch
x = torch.ones(2, 2, requires_grad=True) 
y = x + 2 
z = y * y * 3 
out = z.mean() 
out.backward()#这里是默认情况,相当于out.backward(torch.Tensor([1.0])) 
print(x.grad)
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

输出值是tensor:

x = torch.randn(3, requires_grad=True)

y = x * 2
while y.data.norm() < 1000:
    y = y * 2
print(y)

gradients = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(gradients)
print(x.grad)
tensor([ 51.2000, 512.0000,   0.0512])

解释:
这里这个gradients为什么要是[0.1, 1.0, 0.0001]?

如果输出的多个loss权重不同的话,例如有三个loss,一个是y1 loss,一个是y2 loss,一个是y3 loss。那么很明显的不可能所有loss对结果影响程度都一样,他们之间应该有一个比例。那么比例这里指的就是[0.1, 1.0, 0.0001],这个问题中的loss对应的就是上面说的y,那么这里的输出就很好理解了dy/dx=0.1*dy1/dx+1.0*dy2/dx+0.0001*dy3/dx

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值