torch中自动求导

1. 概述

将一个tensor的.requires_grad属性设置成 True （默认为False），就可以对其进行追踪，并使用.backward()方法来对其求梯度，该tensor的梯度累加在.grad属性中。若该变量不想被追踪可以使用.detach()方法将其从追踪记录中分离出来，此时梯度无法继续传递，也可使用with torch.no_grad()方法将不想被追踪的代表包裹。

import torch
x = torch.tensor([1.0,2,3,4], requires_grad=True)
y = torch.rand(2,2)
print(x.requires_grad)
print(y.requires_grad)
y.requires_grad_(True)
print(y.requires_grad)

输出

True
False
True

2. 求梯度

在y.backward()进行求梯度时，如果y是标量，backward()不需要传入任何参数，否则需要传入一个与y同形状的tensor.

import torch
x = torch.ones(2, 2, requires_grad=True)
y = x+2
z = y*y*3
out = z.mean()
out.backward()
print(x.grad)

输出

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

$$out=\frac{3}{4}{y}^2=\frac{3}{4}(x+2{)}^2$$

$$\frac{{\partial }_o}{{\partial }_{x_i}}{\mid }_{x_i=1}^{}=\frac{3}{2}\left(x_i+1\right)=4.5$$
由于y是一个标量，因此不需要在backward()中传入任何参数，相当于其中传入了1

若y是一个tensor，要把张量通过将所有张量的元素加权求和的方式转换为标量，再求导。比如：y由自变量计算而来，w是y的同形状的张量，则y.backward(w)的含义是先计算l = torch.sum(y*w)，则l为一个标量，然后求l对自变量x的导数。

import torch
x = torch.tensor([1.0, 2, 3, 4], requires_grad=True)
y = x*2
z = y.view(2,2)
v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)
print(x.grad)

输出

tensor([2.0000, 0.2000, 0.0200, 0.0020])

注意：x.grad 是和 x 同形状的张量