课程笔记：池化层、线性层与激活函数

最新推荐文章于 2025-09-20 19:12:13 发布

原创

最新推荐文章于 2025-09-20 19:12:13 发布 · 2.5k 阅读

24 ·

CC 4.0 BY-SA版权

本文介绍了池化层在深度学习中的作用，包括最大池化和平均池化，强调了它们在减少计算量和剔除冗余信息方面的功能。同时，解释了线性层（全连接层）如何通过线性组合实现特征变换，并提到了激活函数层对于非线性转换的重要性。讨论了sigmoid、tanh和ReLU等激活函数的角色。

池化层（Pooling Layer）:

对信号进行 “收集” 和 “总结”
“收集” 指：多变少； “总结” 指：最大值/平均值
池化操作也可以剔除冗余信息，减少后面的计算量在这里插入图片描述
用一个像素值代表4个像素值
池化层也是三种：一维池化，二维池化，三维池化

nn.MaxPool2d:
在这里插入图片描述

#池化窗口为2*2，步长也是2*2
#步长与池化窗口一样大小，为了不重叠
maxpool_layer = nn.MaxPool2d((2, 2), stride=

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

未来可期，期许未来

关注关注

3
点赞
踩
24

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【学习笔记】【Pytorch】十、线性层

qq_45772756的博客

01-15

2132

一、在神经网络中，我们通常用线性层来完成两层神经元间的线性变换。二、Pytorch的线性层 三、Linear类的使用

Transformer模型-线性层（Linear Layer），全连接层（Fully Connected Layer）或密集层（Dense Layer）的简明介绍：通过训练得出最佳拟合线

热门推荐

Ankie资深技术项目经理

04-04

1万+

线性层（Linear Layer）是神经网络中的一种基本层，也被称为全连接层（Fully Connected Layer）或密集层（Dense Layer）。线性层在神经网络中起到的作用是对输入数据进行线性变换。线性层的基本操作可以表示为：(y) 是输出向量。(W) 是权重矩阵，其中的每个元素都是可学习的参数。(x) 是输入向量。(b) 是偏置向量，也是一个可学习的参数。线性层会对输入数据 (x) 进行线性组合，并通过加上偏置 (b) 得到输出 (y)。

参与评论您还未登录，请先登录后发表或查看评论

神经网络：ReLU和线性层

悠眠小虫的博客

01-13

4520

本文主要对ReLU激活函数和线性层做了相关介绍，阐述了其使用方法及在神经网络中的作用，同时结合相关代码以帮助读者理解。

pytorch基础（十一）--------池化层、线性层、激活函数层

m0_55769743的博客

12-28

960

一、池化层 池化运算：对信号进行‘收集‘并‘总结’，类似于水池收集水资源收集：多变少，总结：最大值/平均值 1、nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False) 功能：对二维信号（图像）进行最大值池化参数： kernel_size：池化核尺寸 stride：步长 padding：补边 dilation：池化核间隔大小 ceil_mode：尺寸向上取整

PyTorch笔记13--池化、线性、激活函数层

zjhzxsljl的博客

02-19

422

对信号进行“收集”并“总结”，类似水池收集水资源，因而得名池化层“收集”：多变少“总结”：最大值/平均值。

[PyTorch 学习笔记] 3.3 池化层、线性层和激活函数层

张贤的博客

08-31

1164

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/nn_layers_others.py 这篇文章主要介绍了 PyTorch 中的池化层、线性层和激活函数层。 池化层 池化的作用则体现在降采样：保留显著特征、降低特征维度，增大 kernel 的感受野。另外一点值得注意：pooling 也可以提供一些旋转不变性。 池化层可对提取到的特征信息进行降维，一方面使特征图变小，简化网络计算复杂度并在一定程度上避免过拟合.

PyTorch教程：卷积、池化、线性层与激活函数解析

"本文是关于PyTorch学习的笔记，主要介绍了如何定义卷积层、转置卷积层、池化层、去池化层以及线性层，并涉及了多种激活函数，如sigmoid、tanh和ReLU及其变种。文中通过实例展示了不同操作对二维图像的影响，使用...

PyTorch学习笔记（三）定义各种卷积池化线性激活层

12-21

Environment OS: macOS Mojave ...本文记录一下使用 PyTorch 建立神经网络模型中各种层的定义方法，包括卷积层(卷积、转置卷积)、池化层（平均池化、最大池化、反池化）、全连接层、激活函数层。这里主要记录对于二

PyTorch学习笔记（7）--神经网络：池化层

weixin_43981621的博客

08-17

5462

PyTorch学习笔记（7）–神经网络：池化层 本博文是PyTorch的学习笔记，第7次内容记录，主要介绍神经网络池化层的基本使用。目录PyTorch学习笔记（7）--神经网络：池化层1.池化操作1.1什么是池化操作1.2池化操作的类型1.3池化操作的步骤2.池化层2.1池化层相关参数2.2最大池化应用实例1--处理矩阵2.3最大池化应用实例2--处理图片2.4池化层input和output尺寸信息3.学习小结 1.池化操作 1.1什么是池化操作池化操作(Pooling)是CNN中非常常

池化层&线性层

qq_43624215的博客

02-04

1007

池化层&线性层1.池化层-Pooling Layer1.1 nn.MaxPool2d1.2 nn.AvgPool2d1.3 nn.MaxUnpool2d2.线性层-Linear Layer 1.池化层-Pooling Layer 池化可实现冗余信息的剔除以及减小后续计算量。下采样：将大尺寸图像变换为小尺寸的图像上采样：将小尺寸图像变换为大尺寸的图像 MaxPool2d和AvgPool2d属于下采样准备：将图片转为Tensor： img_transform = transforms.Co.

池化、线性、激活函数层

Major_S的博客

12-21

586

池化、线性、激活函数层索引的作用上图为二维池化前后的图片，我们可以发现图片基本没有变化从而可以进行冗余信息的剔除和减少计算量平均池化相对于最大池化的话，图片略显暗淡反池化饱和函数：sigmoid\tanh （饱和函数应该是说输入达到一定的值以后，输出就不再变化了，饱和了）梯度消失没有sigmoid那么严重，但是如果在几十上百层的网络上...

【07】池化层+非线性激活+线性层和其他层

cocapop的博客

04-05

863

① 最大池化层有时也被称为下采样。② dilation为空洞卷积，如下图所示。③ Ceil_model为当超出区域时，只取最左上角的值。④ 池化使得数据由5 * 5 变为3 * 3,甚至1 * 1的，这样导致计算的参数会大大减小。例如1080P的电影经过池化的转为720P的电影、或360P的电影后，同样的网速下，视频更为不卡。

深度学习之池化与激活函数

cccccccaaaaaaaaa的博客

05-07

797

保留图像最显著的特征，不会影响，且可以减少参数（利用了图像数据的联系） 池化层无参数，相当于一种算法由于卷积层（如F=64）输出的通道数会增加，为了数据变小，所以加个池化层降低数据，但是通道数和池化层一样 API 激活函数 前四个是激活函数特点最后一个前三用的最多和线性回归时知识相同会出现几个如图缺点。很少用于卷积神经中心层同样在卷积神经中用得少用的最多,前三为优点，...

写给程序员的机器学习入门 (三) - 线性模型，激活函数与多层线性模型

iFlyAI的博客

06-23

1170

11.初识Pytorch激活函数,线性层及其他层(Batch Normalization)等并尽可能对其进行可视化

对方正在输入中...

12-30

1283

跟之前的卷积层类似。 ReLU激活函数，上代码： import torch.nn as nn import torchvision from torchvision import transforms from torch.utils.tensorboard import SummaryWriter from torch.utils.data import DataLoader class MyActivation(nn.Module): def __init__(self):

Transformer模型中的线性层与激活函数解析

codeshare1135的博客

08-22

1020

Transformer为何需要线性层与激活函数前馈网络的典型设计激活函数的变体本文探讨了Transformer模型中的线性层与激活函数。线性层与激活函数对非线性变换的必要性ReLU、GELU和SwiGLU激活函数的特性与实现如何构建Transformer模型中使用的完整前馈网络更多精彩内容请关注我的个人公众号公众号（办公AI智能小助手）或者我的个人博客 https://blog.qife122.com/公众号二维码。

深度学习中的池化、线性层与激活函数