损失函数反向传播时报错

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [2048]] is at version 4; expected version 3 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

torch.cuda.FloatTensor [2048]] is at version 4; expected version 3 instead. 

按照网上的教程，修改inplace=False。并将代码中a+=b等运算换成a=a+b。程序依然报错。在此记录一下我的解决方案。

首先根据报错的张量大小找到可能出错的网络分支。

然后这个错误是由于反向传播中需要的一个变量被修改了，我当时的情况是第一次loss能传播，但第二次会报错，后来发现是自己有一个特征提取的变量（需要反向传播的变量）放在了batch循环外面，所以第一次loss反向传播结束后会修改这个值，导致第二次报错。

所以将这个变量放进循环，第二次循环会重新赋值。解决问题。