22 池化层【李沐动手学深度学习v2课程笔记】

本文阐述了池化层在深度学习中的关键作用,涉及最大池化、平均池化操作,以及填充和步幅对输出形状的影响。
部署运行你感兴趣的模型镜像

目录

1 池化层

2 实现

2.1 最大池化层和平均池化层

2.2 填充和步幅

2.3 多个通道

2.4 小结


1 池化层

:物体稍微变动,结果不会变化太多

2x2最大池化写错了,更正如下 (因为是从卷积输出作用过来的)

1100
1100
1100
1100

2 实现

2.1 最大池化层和平均池化层

在下面的代码中的pool2d函数,我们实现汇聚层的前向传播。 这类似于 6.2节中的corr2d函数。 然而,这里我们没有卷积核,输出为输入中每个区域的最大值或平均值。

import torch
from torch import nn
from d2l import torch as d2l

def pool2d(X, pool_size, mode='max'):
    p_h, p_w = pool_size
    Y = torch.zeros((X.shape[0] - p_h + 1, X.shape[1] - p_w + 1))
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            if mode == 'max':
                Y[i, j] = X[i: i + p_h, j: j + p_w].max()
            elif mode == 'avg':
                Y[i, j] = X[i: i + p_h, j: j + p_w].mean()
    return Y

我们可以构建 图6.5.1中的输入张量X,验证二维最大汇聚层的输出。

X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
pool2d(X, (2, 2))
tensor([[4., 5.],
        [7., 8.]])

此外,我们还可以验证平均汇聚层。

pool2d(X, (2, 2), 'avg')
tensor([[2., 3.],
        [5., 6.]])

2.2 填充和步幅

与卷积层一样,汇聚层也可以改变输出形状。和以前一样,我们可以通过填充和步幅以获得所需的输出形状。 下面,我们用深度学习框架中内置的二维最大汇聚层,来演示汇聚层中填充和步幅的使用。 我们首先构造了一个输入张量X,它有四个维度,其中样本数和通道数都是1。

X = torch.arange(16, dtype=torch.float32).reshape((1, 1, 4, 4))
X
tensor([[[[ 0.,  1.,  2.,  3.],
          [ 4.,  5.,  6.,  7.],
          [ 8.,  9., 10., 11.],
          [12., 13., 14., 15.]]]])

默认情况下,深度学习框架中的步幅与汇聚窗口的大小相同。 因此,如果我们使用形状为(3, 3)的汇聚窗口,那么默认情况下,我们得到的步幅形状为(3, 3)

pool2d = nn.MaxPool2d(3)
pool2d(X)
tensor([[[[10.]]]])

填充和步幅可以手动设定。

pool2d = nn.MaxPool2d(3, padding=1, stride=2)
pool2d(X)

当然,我们可以设定一个任意大小的矩形汇聚窗口,并分别设定填充和步幅的高度和宽度。

pool2d = nn.MaxPool2d((2, 3), stride=(2, 3), padding=(0, 1))
pool2d(X)

2.3 多个通道

在处理多通道输入数据时,汇聚层在每个输入通道上单独运算,而不是像卷积层一样在通道上对输入进行汇总。 这意味着汇聚层的输出通道数与输入通道数相同。 下面,我们将在通道维度上连结张量XX + 1,以构建具有2个通道的输入。

X = torch.cat((X, X + 1), 1)
X
tensor([[[[ 0.,  1.,  2.,  3.],
          [ 4.,  5.,  6.,  7.],
          [ 8.,  9., 10., 11.],
          [12., 13., 14., 15.]],

         [[ 1.,  2.,  3.,  4.],
          [ 5.,  6.,  7.,  8.],
          [ 9., 10., 11., 12.],
          [13., 14., 15., 16.]]]])

如下所示,汇聚后输出通道的数量仍然是2。

pool2d = nn.MaxPool2d(3, padding=1, stride=2)
pool2d(X)
tensor([[[[ 5.,  7.],
          [13., 15.]],

         [[ 6.,  8.],
          [14., 16.]]]])

2.4 小结

  • 对于给定输入元素,最大汇聚层会输出该窗口内的最大值,平均汇聚层会输出该窗口内的平均值。

  • 汇聚层的主要优点之一是减轻卷积层对位置的过度敏感。

  • 我们可以指定汇聚层的填充和步幅。

  • 使用最大汇聚层以及大于1的步幅,可减少空间维度(如高度和宽度)。

  • 汇聚层的输出通道数与输入通道数相同。

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

动手学深度学习》(第二版)是由李沐等人编写的经典教材,全面介绍了深度学习的基础理论与实践方法。该书提供了基于PyTorch的代码实现版本,便于读者在实际操作中掌握深度学习模型的构建和训练过程。 ### PyTorch教程概述 书中针对PyTorch框架的使用进行了详细讲解,内容涵盖了从环境搭建、张量操作到神经网络模型定义等关键环节。通过配套的代码示例,可以快速上手并理解如何利用PyTorch进行深度学习开发。例如,书中展示了如何使用`torch.nn`模块来构建线性层和激活函数组成的简单网络: ```python import torch from torch import nn net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1)) X = torch.rand(size=(2, 4)) output = net(X) ``` 此代码片段演示了创建一个包含两个全连接层和一个ReLU激活函数的序列模型,并对随机生成的数据执行前向传播计算[^4]。 ### 数据加载与处理 为了更好地进行模型训练,《动手学深度学习》还介绍了数据加载的方法。例如,在时间序列任务中,可以通过以下方式加载数据集: ```python from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) ``` 上述代码利用了D2L库提供的工具函数,能够高效地读取文本数据并将其转换为适合输入模型的形式[^3]。 ### 模型训练与优化 书中进一步探讨了如何配置损失函数和优化器以完成模型训练。常见的选择包括均方误差损失(MSELoss)以及Adam优化算法。具体实现如下: ```python criterion = nn.MSELoss() optimizer = torch.optim.Adam(net.parameters(), lr=0.001) for epoch in range(num_epochs): for X, y in train_loader: outputs = net(X) loss = criterion(outputs, y) optimizer.zero_grad() loss.backward() optimizer.step() ``` 这段代码展示了典型的训练循环结构,其中包含了前向传播计算损失、反向传播更新权重参数等步骤。 ### 实用技巧与注意事项 - **动态计算图**:PyTorch采用动态计算图机制,使得调试更加直观且灵活。 - **内存管理**:合理控制批量大小(batch size),避免GPU显存溢出。 - **设备迁移**:确保模型和数据位于相同的设备上(CPU/GPU)以提高效率。 ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值