激活函数nn.ReLU(inplace=True)中inplace的作用

nn.ReLU(inplace=True)中inplace的作用

参数 inplace=True: 将计算得到的值直接覆盖之前的值

inplace：can optionally do the operation in-place. Default: False

注： 产生的计算结果不会有影响。利用in-place计算可以节省内（显）存，同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖，只要不带来错误就用。

例如：x = x+1

• 当 inplace=True 时：对原值x进行+1操作后得到的值，直接赋值给x，而不是如下找一个中间变量y
• 当 inplace=False 时：找中间变量指的是：先将 x 进行 +1 操作后赋值给中间变量 y，然后将 y 值赋给 x。 这样就需要内存存储变量 y。

y  = x + 1
x = y

因此当inplace=True时： 就是将从上层网络 nn.Conv2d 中传递下来的 tensor 直接进行修改，这样能够节省运算内存，不用多存储其他变量。

---

举例说明：

import torch
import torch.nn as nn

input = torch.randn(5)
print('输入处理前:\n', input, input.size())
print('*'*70)

print("Default. inplace=False:")
output_F = nn.ReLU(inplace=False)(input)
print('输入:\n', input, input.size())
print('输出:\n', output_F, output_F.size())

print('*'*70)

print("inplace=True:")
output_T = nn.ReLU(inplace=True)(input)
print('输入:\n', input, input.size())
print('输出:\n', output_T, output_T.size())

运行结果：

输入处理前:
 tensor([-2.2577,  0.1088, -0.9960,  0.4097, -0.3411]) torch.Size([5])
**********************************************************************
Default. inplace=False:
输入:
 tensor([-2.2577,  0.1088, -0.9960,  0.4097, -0.3411]) torch.Size([5])
输出:
 tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])
**********************************************************************
inplace=True:
输入:
 tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])
输出:
 tensor([0.0000, 0.1088, 0.0000, 0.4097, 0.0000]) torch.Size([5])

---

原文链接：https://blog.youkuaiyun.com/AugustMe/article/details/92589979
原文链接：https://blog.youkuaiyun.com/zhanly19/article/details/99232815