大指挥官

最近写代码，用的pytorch的DDP分布式工具。发现一个问题，如果在代码中，模型在一次训练中有两次前项传播，如下：model = Model()for i, (x1, x2, y) in enumerate(trloader): x = x.cuda() y = y.cuda() p1 = model(x1) p2 = model(x2) ...程序会爆如下错误：RuntimeError: one of the variables needed for gradient compu

有一段代码在 pytorch 1.2 上没有问题，但是移植到 pytorch 1.8 就会报如下错误：RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [3136, 10]], which is output 0 of TBackward, is at version 2; expecte

pytorch中没有nn.Reshape层，如果想使用 reshape 功能，通常：class Net(nn.Module): def __init__(self): super().__init__() ... def forward(self, x): ... h = h.view(-1, 128) ...如果要想在 nn.Sequential 中使用 Reshape 功能，可以自定义Reshape层：class Reshape(nn.Module): def _