torch中自动求导

最新推荐文章于 2025-06-07 15:12:57 发布

funNLPer

最新推荐文章于 2025-06-07 15:12:57 发布

阅读量1.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： pytorch 文章标签： pytorch

本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/116205445

pytorch 专栏收录该内容

30 篇文章

订阅专栏

本文介绍了如何在PyTorch中设置tensor的requires_grad属性，对变量求梯度的基本操作，包括标量和张量的梯度计算实例。还讲解了detach()和torch.no_grad()的作用，以及如何在追踪与不追踪之间切换。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 概述

将一个tensor的.requires_grad属性设置成 True （默认为False），就可以对其进行追踪，并使用.backward()方法来对其求梯度，该tensor的梯度累加在.grad属性中。若该变量不想被追踪可以使用.detach()方法将其从追踪记录中分离出来，此时梯度无法继续传递，也可使用with torch.no_grad()方法将不想被追踪的代表包裹。

import torch
x = torch.tensor([1.0,2,3,4], requires_grad=True)
y = torch.rand(2,2)
print(x.requires_grad)
print(y.requires_grad)
y.requires_grad_(True)
print(y.requires_grad)

输出

True
False
True

2. 求梯度

在y.backward()进行求梯度时，如果y是标量，backward()不需要传入任何参数，否则需要传入一个与y同形状的tensor.

import torch
x = torch.ones(2, 2, requires_grad=True)
y = x+2
z = y*y*3
out = z.mean()
out.backward()
print(x.grad)

输出

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

$\frac{3}{4}y^2 =\frac{3}{4}(x+2)^2$

$\frac{\partial _o}{\partial _{x_i}}\mid_{x_i=1}^{}=\frac{3}{2}\left( x_i+1 \right) =4.5$
由于y是一个标量，因此不需要在backward()中传入任何参数，相当于其中传入了1

若y是一个tensor，要把张量通过将所有张量的元素加权求和的方式转换为标量，再求导。比如：y由自变量计算而来，w是y的同形状的张量，则y.backward(w)的含义是先计算l = torch.sum(y*w)，则l为一个标量，然后求l对自变量x的导数。

import torch
x = torch.tensor([1.0, 2, 3, 4], requires_grad=True)
y = x*2
z = y.view(2,2)
v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)
print(x.grad)

输出

tensor([2.0000, 0.2000, 0.0200, 0.0020])

注意：x.grad 是和 x 同形状的张量