pytorch学习笔记七：nn网络层——池化层、线性层

关注

VIP免费原创 2022-02-16 23:41:27 5.1k 阅读 AI 写同款· GEO 优化 ›

Transformer模型-线性层（Linear Layer），全连接层（Fully Connected Layer）或密集层（Dense Layer）的简明介绍：通过训练得出最佳拟合线 线性层（Linear Layer）是神经网络中的一种基本层，也被称为全连接层（Fully Connected Layer）或密集层（Dense Layer）。线性层在神经网络中起到的作用是对输入数据进行线性变换。线性层的基本操作可以表示为：(y) 是输出向量。(W) 是权重矩阵，其中的每个元素都是可学习的参数。(x) 是输入向量。(b) 是偏置向量，也是一个可学习的参数。线性层会对输入数据 (x) 进行线性组合，并通过加上偏置 (b) 得到输出 (y)。阅读详情

一、池化层

池化运算：对信号进行“收集” 并“总结”，类似于水池收集水资源，因而得名池化层。

收集：由多变少，图像的尺寸由大变小
总结：最大值/平均值
下面是最大值池化和平均值池化的示意图：
最大值池化就是将滑动窗口中的最大值作为最终的结果；平均值池化是将滑动窗口的平均值作为最终结果。下面看一下pytorch中提供最大值和平均值池化的函数

1、nn.Maxpool2d

nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

功能：对二维信号（图像）进行最大值池化
参数：

kernel_size：池化核尺寸
stride：步长
padding：填充个数
dilation：池化核间隔大小
ceil_mode:尺寸向上取整
return_indices: 记录池化像素索引

前面几个参数和卷积类似，最后一个参数常在最大值反池化的时候使用，返回的是滑动窗口中最大值所在位置的索引值，反最大值池化过程如下图所示：
在这里插入图片描述
左边图是4✖️4的图经过最大值池化后变为2✖️2，右边的图是反池化操作，将尺寸较小的图经过上采样变为尺寸较大的图，在反池化操作的过程中，小图中的值应该放到上采样后的图中的什么位置呢？这就需要最大值池化后的索引值，根据索引值将元素放到对应的位置，就得到了上图中最右边的图像。

下面来看一下最大值池化的效果：

# ================================= load img ==================================
path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "lena.png")
img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor
img_transform = transforms.Compose([transforms.ToTensor()])
img_tensor = img_transform(img)
img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W

# ================ maxpool
flag =