18、卷积网络中的下采样、上采样及应用

卷积网络中的下采样、上采样及应用

1. 下采样与上采样

1.1 下采样

下采样是指对二维输入表示进行缩放的操作，常见的是将两个维度都缩小为原来的一半。主要有以下三种方法：
- 隔点采样 ：使用步长为 2 的卷积操作时，实际上就是同时应用了这种采样方法。例如，在图 10.11a 中，原始的 4×4 表示通过保留每隔一个的输入，被缩减为 2×2 的表示。
- 最大池化 ：保留 2×2 输入值中的最大值，如图 10.11b 所示。这种方法对平移具有一定的不变性，即输入平移一个像素时，很多最大值保持不变。
- 平均池化 ：对输入进行平均计算，如图 10.11c 所示。

对于所有这些方法，都是对每个通道分别进行下采样，因此输出的宽度和高度变为原来的一半，但通道数保持不变。

1.2 上采样

上采样是将网络层的分辨率提高的操作，常见的方法有以下四种：
- 简单复制 ：将每个空间位置的所有通道复制四次，这是将二维层大小翻倍的最简单方法，如图 10.12a 所示。
- 最大反池化 ：在之前使用最大池化进行下采样的网络中，可以将值重新分配到它们原来的位置，如图 10.12b 所示。
- 双线性插值 ：在有样本的点之间填充缺失值，如图 10.12c 所示。
- 转置卷积 ：类似于步长为 2 的下采样的逆过程。在下采样中，输出