qq_34418352的博客

fromhttps://blog.youkuaiyun.com/appleml/article/details/80143212 contiguous：view只能用在contiguous的variable上。如果在view之前用了transpose, permute等，需要用contiguous()来返回一个contiguous copy。 一种可能的解释是： 有些tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这.

1 首先没有detach的情况 定义了一系列操作，如下，中间结点y1和y2没有梯度。没有采取detach。 import torch w1 = torch.tensor([2.], requires_grad=True) # print(w1.type()) # torch.FloatTensor w2 = torch.tensor([4.], requires_grad=True) w3 = torch.tensor([6.], requires_grad=True) w4 = torch.te

fromhttps://www.jianshu.com/p/96a687ecbac4 grad 该属性值默认为None，在第一次调用backward()方法后，该值会附上一个数值，并且grad属性值会在之后的每次调用backward()方法时进行累计，这就是为什么我们在训练网络时，每次迭代计算backward()之前需要进行zero_grad的操作的原因。 requires_grad 若当前tensor需要被计算梯度，则该属性值需要为True，否则该属性值为False。但是需要注意的是.