pytorch中backward()方法自动求梯度

1、区分源张量和结果张量

x = torch.arange(-8.0, 8.0, 0.1, requires_grad= True)
y = x.relu()

x为源张量，基于源张量x得到的张量y为结果张量。

2、如何使用backward()方法自动求梯度

一个标量调用它的backward()方法后，会根据链式法则自动计算出源张量的梯度值。

2.1、结果张量是一维张量

基于以上例子，就是将一维张量y变成标量后，然后通过调用backward()方法，就能自动计算出x的梯度值。
那么，如何将一维张量y变成标量呢？
一般通过对一维张量y进行求和来实现，即y.sum()。
一个一维张量就是一个向量，对一维张量求和等同于这个向量点乘一个等维的单位向量，使用求和得到的标量y.sum()对源张量x求导与y的每个元素对x的每个元素求导结果是一样的，最终对源张量x的梯度求解没有影响。
因此，代码如下：

y.sum().backward() 
x.grad

2.2、结果张量是二维张量或更高维张量

撇开上面例子，结果变量y可能是二维张量或者更高维的张量，这时可以理解为一般点乘一个等维的单位张量（点乘，是向量中的概念，这样描述只是方便理解），代码如下：

y.backward(torch.ones_like(y))#grad_tensors=torch.ones_like(y)
x.grad

参考

• Pytorch autograd,backward详解