pytorch BUG :.grad=NONE？ pytorch参数的使用

      在实验中，输出发现网络的某个新增的参数不更新。在输出 tensor.grad=NONE。然后查找资料进行修改输出从

tensor([0.9925], device='cuda:0', grad_fn=<CopyBackwards>)
tensor([0.9925], device='cuda:0', grad_fn=<CopyBackwards>)

变为了：tensor([0.4926], device='cuda:0', requires_grad=True)

原因：对需要求梯度的张量做了一次to(device)导致叶节点发生变化。

修改方案

self.A = torch.nn.Parameter(torch.rand(10, 20),requires_grad=True).cuda()

改为

self.A = torch.nn.Parameter(torch.rand(10, 20,device = torch.device('cuda')),requires_grad=True)#.cuda()

注

    print(type(model.named_parameters()))
    for name, param in model.named_parameters():
        print(name, param.size())

并且

self.C = torch.nn.Parameter(torch.rand(1000,2000,device=torch.device('cuda')),requires_grad=False)* self.B

与

self.A = torch.nn.Parameter(torch.rand(1000,2000,device=torch.device('cuda')),requires_grad=False)
self.C = self.A* self.B

的网络参数输出也不同，后者会包含self.A和self.B，前者只有self.B。

参考与更多

https://www.youkuaiyun.com/tags/MtTagg4sMDYxMjktYmxvZwO0O0OO0O0O.html