pytorch梯度累加探索

举个简单例子，,求一次梯度为2x=2 (x=1)

import torch
x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2
y1.backward()
print(x.grad)

输出

tensor(2.)

若我们再求一次导

import torch
x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2
y1.backward()
print(x.grad)

y1.backward()
print(x.grad)

报错了

  Variable._execution_engine.run_backward(
RuntimeError: Trying to backward through the graph a second time, but the saved intermediate results have already been freed. Specify retain_graph=True when calling backward the first time.

具体报什么错没看懂，估计就是x已经求过导了，再没有改动之前不能再求导。不知道这样理解对不对？

对x进行2次求导

import torch
x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2
y1.backward()
print('第一次求导：',x.grad)
y2=x**2
y2.backward()
print('第二次求导：',x.grad)

输出

第一次求导： tensor(2.)
第二次求导： tensor(4.)

理论上,求导结果是2,但是累加上一次对x的导数后就是4. 

(104条消息) PyTorch中的梯度累加_有为少年的博客-优快云博客

PyTorch 梯度累积小技巧 | XW.Xiong's HomePage (xingwxiong.github.io)