深度学习之池化层

池化层

• 积对位置敏感

  • 检测垂直边缘

    X	Y
    [[1. 1. 0. 0. 0.]	[[0. 1. 0. 0.]
    [1. 1. 0. 0. 0.]	[0. 1. 0. 0.]
    [1. 1. 0. 0. 0.]	[0. 1. 0. 0.]
    [1. 1. 0. 0. 0.]	[0. 1. 0. 0.]

• 需要一定程度的平移不变性

  • 照明，物体位置，比例，外观等等因图像而异

注释：
1像素移位导致0输出

填充，步幅和多个通道

• 池化层与卷积层类似，都具有填充和步幅
• 没有可学习的参数
• 在每个输入通道应用池化层以获得相应的输出通道
• 输出通道数 = 输入通道数

平均池化层

• 最大池化层：每个窗口中最强的模式信号
• 平均池化层：将最大池化层中的“最大”操作替换为“平均”

总结

• 池化层返回窗口中最大或平均值
• 缓解卷积层会位置的敏感性
• 同样有窗口大小、填充、和步幅作为超参数

代码实现

实现池化层的正向传播

import torch
from torch import nn
from d2l import torch as d2l

def pool2d(X, pool_size, mode='max'): # pool_size表示的是窗口的大小
    p_h, p_w = pool_size
    Y = torch.zeros((X.shape[0] - p_h + 1, X.shape[1] - p_w + 1)) #和卷积层是一样的
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            if mode == 'max':
                Y[i, j] = X[i: i + p_h, j: j + p_w].max()
            elif mode == 'avg':
                Y[i, j] = X[i: i + p_h, j: j + p_w].mean()
    return Y

填充和步幅

X = torch.arange(16, dtype=torch.float32).reshape((1, 1, 4, 4))
X

深度学习框架中的步幅与池化窗口的大小相同，没有重叠

pool2d = nn.MaxPool2d(3) # 3表示一个3*3的窗口
pool2d(X).shape,pool2d(X)

填充和步幅可以手动设定

pool2d = nn.MaxPool2d(3, padding=1, stride=2) # 周边填充一圈，然后步幅设置成2
pool2d(X)

池化层在每个输入通道上单独运算

如下所示，汇聚后输出通道的数量仍然是2

QA 思考

Q1：池化层一般是放在卷积后面么？池化层能放在卷积前面吗?
A1：通常来说是放在后面，让卷积层的输出对位置不是很敏感。