pytorch之坑持续更新。。

刚开始从tf转战pytorch，开始记录一下自己遇到的一些坑，不断更新。

2018-9-10

1. one of the variables needed for gradient computation has been modified by an inplace operation

pytorch版本0.4

遇到这个问题之后，百度有以下解决方式：

解决方法一：如果使用的是pytorch0.4.0版本，回退到pytorch0.3.0版本

解决方法二：如果有inreplace参数，设为False

解决方法三：报错原因是pytorch0.4.0版本后tensor不支持inplace操作了，所以把所有inplace错作去掉

---

我检查之后发现自己的问题在于squeeze的使用。

我在model里面直接使用了x.squeeze_() 导致报错。改为x=x.squeeze()无报错

2.自定义了一个变量，报错：不是叶子节点。

这个报错不是程序报错，而是我检查出来的。使用x.is_leaf 返回None，并且x.grad=None

众所周知，非叶子节点梯度计算完就被清空。

从头检查，，，，，

radius = torch.Tensor([0.1]).requires_grad_().cuda() 这个地方出了问题。。。应该更正如下格式：

radius = torch.Tensor([0.1]).cuda().requires_grad_()

3.自定义变量，有梯度但是不更新

需要将其加入优化器当中。如下格式:

your_variable 为自己定义的变量，脱离model之外

optimizer = optim.Adam([{'params':model.parameters()}, {'params':your_variable}],

                                           lr=opt.lr, weight_decay=opt.weight_decay)