【Pytorch】Inplace operation（待完善）

什么是Inplace操作

本质上讲，inplace操作是指将新值赋到原变量地址上的操作，目的是节约内存空间。例如inplace操作‘x += 1’，假设原x值为0，储存在id为139973228650216的内存地址中，在进行该inplace操作后，x为1且仍储存在139973228650216中。

哪些是Inplace操作，哪些不是

任何有一个'_'后缀改变张量的操作都是inplace操作。例如x.squeeze_()，x.unsqueeze_()操作将改变x。x.squeeze()，x.unsqueeze()则不会。

Pytorch中 torch.relu()和torch.sigmoid()等激活函数不是inplace操作，其中ReLU可通过设置inplace=True进行inplace操作。

x += res是inplace操作，x = x + res不是（详情见官网论坛Adam Paszke的回答）。

引起modified by an inplace operation的原因

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation

注意：x += res是inplace operation，x = x + res不是