pytorch -----.data 与 .detach(),

在 0.4.0 版本之前, .data 的语义是 获取 Variable 的 内部 Tensor, 在 0.4.0 版本将 Variable 和 Tensor merge 之后, .data 和之前有类似的 语义, 也是 内部的 Tensor 的概念.

x.data 与 x.detach() 返回的 tensor 有相同的地方, 也有不同的地方:

相同:

• 都和 x 共享同一块数据
• 都和 x 的 计算历史无关
• requires_grad = False

不同:

• y=x.data 在某些情况下不安全, 

  import torch
  x = torch.FloatTensor([[1., 2.]])
  w1 = torch.FloatTensor([[2.], [1.]])
  w2 = torch.FloatTensor([3.])
  w1.requires_grad = True
  w2.requires_grad = True
  
  d = torch.matmul(x, w1)
  
  d_ = d.data
  
  f = torch.matmul(d, w2)
  d_[:] = 1
  
  f.backward()
  
  # 这段代码没有报错, 但是计算上的确错了
  # 如果 打印 w2.grad 结果看一下的话, 得到 是 1, 但是正确的结果应该是 4.

  上述代码应该报错, 因为:

• d_ 和 d 共享同一块数据,
• 改 d_ 就相当于 改 d 了

• 所以, release note 中指出, 如果想要 detach 的效果的话, 还是 detach() 安全一些.

• 但是, 代码并没有报错 , 但是计算上的确错了

import torch
x = torch.FloatTensor([[1., 2.]])
w1 = torch.FloatTensor([[2.], [1.]])
w2 = torch.FloatTensor([3.])
w1.requires_grad = True
w2.requires_grad = True

d = torch.matmul(x, w1)

d_ = d.detach() # 换成 .detach(), 就可以看到 程序报错了...

f = torch.matmul(d, w2)
d_[:] = 1
f.backward()