pytorch: autograd中backward

最新推荐文章于 2024-02-27 11:05:28 发布

H.SH

最新推荐文章于 2024-02-27 11:05:28 发布

阅读量187

点赞数

CC 4.0 BY-SA版权

分类专栏： pytorch 文章标签： pytorch

本文链接：https://blog.youkuaiyun.com/weixin_42615068/article/details/90034168

pytorch 专栏收录该内容

1 篇文章

订阅专栏

本文深入探讨PyTorch的autograd模块，通过实例解析backward函数如何计算梯度，特别是在输出为张量且各损失权重不同时的情景下。阐述了如何通过指定权重调整不同损失对最终梯度的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pytorch: autograd中backward

输出值是标量：

import torch
x = torch.ones(2, 2, requires_grad=True) 
y = x + 2 
z = y * y * 3 
out = z.mean() 
out.backward()#这里是默认情况，相当于out.backward(torch.Tensor([1.0])) 
print(x.grad)

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

输出值是tensor:

x = torch.randn(3, requires_grad=True)

y = x * 2
while y.data.norm() < 1000:
    y = y * 2
print(y)

gradients = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(gradients)
print(x.grad)

tensor([ 51.2000, 512.0000,   0.0512])

解释：
这里这个gradients为什么要是[0.1, 1.0, 0.0001]？

如果输出的多个loss权重不同的话，例如有三个loss，一个是y1 loss，一个是y2 loss，一个是y3 loss。那么很明显的不可能所有loss对结果影响程度都一样，他们之间应该有一个比例。那么比例这里指的就是[0.1, 1.0, 0.0001]，这个问题中的loss对应的就是上面说的y，那么这里的输出就很好理解了dy/dx=0.1*dy1/dx+1.0*dy2/dx+0.0001*dy3/dx。