卷积核为1的一维卷积，等价于全连接，个人理解

原创 已于 2023-03-01 09:23:55 修改 · 1.6k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #cnn #神经网络

于 2023-02-28 16:44:30 首次发布
文章探讨了在pointNet的语义分割代码中，为何使用一维卷积核为1的操作来替代论文中提到的MLP。作者发现，尽管形式不同，但这种卷积实际上对每个点执行了类似全连接的操作，即每个点的1088个特征都与卷积核进行了卷积，相当于MLP的全连接层。文章总结了这种卷积方式如何实现对大量点的全连接处理。

最近在看pointNet语义分割的代码，其中有一处令我很困惑，明明论文中使用的是MLP，但是为什么代码中使用的却是卷积核为1的一维卷积呢？难道二者是等价的吗？
在这里插入图片描述
在这里插入图片描述

这个问题困扰了我好久，网上也没有搜到类似的答案，后来自己才想到的，现总结如下：

以以在这里插入图片描述
这个语句为例子，假设输入的点云数据的tensor是n（batch）×1088（通道，也叫特征）×4096（点云个数），那么在卷积核为1的卷积过程中发生了什么呢？我自己画了张图，对于每一个卷积核，卷积后都生成了1×4096的图层，一共512个图层，合在一起就是512×4096
在这里插入图片描述
这么看是没有MLP的，但是对于单个的点来说，每个点的1088个特征都和卷积核做了卷积操作，所以这对于单个点来说，其实是相当于MLP的全连接的。
在这里插入图片描述
所以这里是相当于使用卷积核为1的一维卷积操作，同时对n*4096个点做全连接操作。
个人理解，仅供参考。

--------------------------------------------------------------------------------------
3.1号补充：为什么不问问神奇的Chatgpt呢？
在这里插入图片描述

浅谈pytorch卷积核大小的设置对全连接神经元的影响
09-18
今天小编就为大家分享一篇浅谈pytorch卷积核大小的设置对全连接神经元的影响，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
1*1卷积核的作用与全连接层等价的学习思考
争取原创，尽量不CV
03-07 3382
全连接层 （fully connected layers）FC上的每一个结点都与上一层的所有结点相连。 在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。 其中，x1、x2、x3为全连接层的输入，a1、a2、a3为输出， 全连接层参数计算 权值参数=输入一维数组大...
一文读懂卷积神经网络中的1x1卷积核
热门推荐
阿木寺的博客
07-18 3万+
前言 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念[1]。 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）。卷积核的个数就对应输出的通道数（chan...
kernel_size为1的卷积核与全连接层的关系
todoooooo的博客
06-03 7212
看到有文章说kernel_size为1的卷积相当于全连接层的运算，这里简单地使用1维的卷积核证明一下 输入的数据用X∈R(d,n)X \in \mathbb{R}^{(d,n)}X∈R(d,n)表示，共有nnn个数据，每个数据是ddd维。 全连接层用L∈R(d,d)L \in \mathbb{R}^{(d,d)}L∈R(d,d)表示，一维的卷积用C∈R(d,d)C \in \mathbb{R}^{(d,d)}C∈R(d,d)表示，即卷积的in_channel=d, out_channel=d，CCC的行向量
神经网络中的1x1卷积核
遥远的她
02-24 2325
本文参考自CVer公众号的文章"一文读懂神经网络中的1x1卷积核"，但我在读他的文章时觉得作者对1x1卷积核的理解或阐述有失偏颇，特此记文来发表我的看法，文中图片都摘自CVer的博文。 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念。 1. 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能...
1X1卷积核到底有什么作用
wonengguwozai的博客
06-10 1万+
1*1的卷积核在NIN、Googlenet中被广泛使用，但其到底有什么作用也是一直困扰的问题，这里总结和归纳下在网上查到的自认为很合理的一些答案，包括1）跨通道的特征整合2）特征通道的升维和降维  3）减少卷积核参数（简化模型） 部分转载自caffe.cn 作用：1. 实现跨通道的交互和信息整合2. 进行卷积核通道数的降维和升维3.对于单通道feature map 用单核卷积即为乘以一个参数，...
深度学习基础：1x1的卷积为什么代替全连接
weixin_43507744的博客
05-18 4478
1x1的卷积作用我们肯定很好理解： 跨通道的特征整合 比如：输入的特征是32x64x64（32为通道数），我想要把32个通道的信息进行融合，最后输出8个特征，那我们就可以设计1x1的卷积核为：输入通道：32，输出通道：8。 特征通道的升维和降维 上面的例子也是一个降维的操作，我们把32通道的特征图融合成了8通道的特征图，这样做可以融合不同的特征模式（其本质是增大感受野）。 升维是把特征上升到更高维度，比如，我们设计1x1卷积核为：输入通道：32，输出通道：64，这样可以得到更多的特征模式。 减少卷积
什么情况下卷积层等价于全连接层？
程序媛
11-30 1384
先说答案： 当卷积层的卷积核大小等于输入特征图的大小，卷积核的输出通道数就等价于全连接的输出神经元个数，此时的卷积层等价于全连接层。 说明： 假定输入特征图大小和通道数目分别是(lhinl_h^{in}lhin​，lwinl_w^{in}lwin​), CinC_{in}Cin​;输出特征图大小和通道数目分别为(lhoutl_h^{out}lhout​，lwoutl_w^{out}lwout​)，CoutC_{out}Cout​. 卷积层参数是：卷积核大小（KhK_hKh​,KwK_wKw​）, 输入通道C
卷积运算与卷积核DLC
就随便写写....
11-19 2051
卷积核的详解
深度学习笔记（六）：1x1卷积核的作用归纳和实例分析
呆呆象呆呆的博客
07-16 2万+
文章目录一、1x1卷积核介绍二、举例说明实际作用例子1：线性变换例子2：降低通道数（归纳整理进行一次输入通道间的非线性映射）三、1x1卷积核作用降低/提升通道数增加非线性跨通道信息交互（channal 的变换）四、1x1卷积应用InceptionResNet参考文献待看文献 一、1x1卷积核介绍 1x1卷积核，又称为网中网（Network in Network）。 其实1x1卷积，可以看成一种全连接（full connection）。 二、举例说明实际作用 例子1：线性变换 这里通过一个例子来直观地介绍1x
什么是1*1卷积？1*1的卷积核和全连接层有什么异同？
没有感情的刷题机器
01-27 2万+
简单回答一下： 1、数学本质上一样，都是特征图中的元素乘以权重再求和。全连接是把特征图拆开组成一个一维向量，再乘以一个权重向量，这两个向量中的元素一一对应所以输出结果是一个值。而1*1卷积，我们知道卷积核实质上就是权重，1*1的卷积核那就是表明只由一个权重组成，如果特征图尺寸也是1*1的话，那输出就是一个值，此时与全连接完全一样。但是如果特征图尺寸不是1*1，而是w*h的话，那么1*1的卷积输出...
什么是卷积核？
weixin_42713739的博客
11-14 1万+
神经网络中的卷积核是训练出来的，是为了提取图像特征，借鉴了加权求和的特点。 卷积核的本质就是找出图片中和自己相似的部分。 卷积核的空间是对称的。如果存在一个卷积核A,那么一定存在另外一个卷积核B,使得B的转置就是A. 大部分卷积核是奇数的，为啥？ 奇数相对于偶数，有中心点，对边沿、对线条更加敏感，可以更有效的提取边沿信息。 偶数也可以使用，但是效率比奇数低。在数以万计或亿计的计算过程中，每个卷积核...
1*1 and GoogLeNet卷积
Darling912的博客
10-01 897
首先，我们先去介绍1*1的卷积对于1*1的卷积的实现就是其卷积核的尺寸大小为一的特例这类的卷积核的尺寸是相对来说是比较小的在模型的训练过程中也更加的精细对于我们在之后的判断过程中也更加的具有准确性11的卷积在卷积神经网络（CNN）中是一种用于进行降维和控制网络复杂度的技术。在GoogLeNet等网络结构中，11的卷积主要用于以下目的：降维：通过使用1*1的卷积，可以减少输入通道的数量，有助于管理计算复杂度并控制网络过拟合。
1*1大小的卷积核的作用与功能
weixin_48727047的博客
02-26 954
1*1大小的卷积核的作用与功能
为什么1x1卷积层可以视为全连接层
LK_muchen的博客
08-14 1342
从各个同一像素点位置的通道维来看，1x1卷积层是可以视为全连接层的，而不同像素之间是不连接的
【深度学习】卷积概念以及卷积核层数
小昊同学
08-03 3677
对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。 中间的过程部分可以理解为一个滤波器，即带着一组固定权重的神经元，多个滤波器的叠加便成了卷积层。 一般而言，深度卷积网络是一层又一层的。 层的本质是特征图, 存贮输入数据或其中间...
1*1 的卷积核
weixin_30909575的博客
07-20 198
1、降维（ dimension reductionality ）。1*1 的卷积核是对每个像素点，在不同的channels 进行线性组合（信息组合），调控depth。比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。 2、加入非线性。卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非...
深度学习基础--卷积--1*1的卷积核与全连接的区别
wydbyxr的博客
11-14 1万+
1*1的卷积核与全连接的区别   11的卷积核是输入map大小不固定的；而全连接是固定的。   11卷积的主要作用有以下两点：   1）降维（ dimension reductionality ），inception中就是这个用。   2）加入非线性，毕竟有激活。   这里有个八卦是当年FCN得到CVPR’15 best paper honorable mention的时候，　Yann LeCun...
1*1的卷积核的作用
Chaolei3的博客
02-25 3308
参考：https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit https://iamaaditya.github.io/2016/03/one-by-one-convolution/ http://blog.youkuaiyun.com/yiliang_/article/details/60468655 http://blog.csdn.n...
1*1卷积替代全连接层的计算过程
最新发布
07-17
1×1卷积可以用于替代全连接层，其核心原理在于将全连接层的权重矩阵转化为1×1卷积核的形式进行操作。在传统全连接层中，每个神经元与上一层的所有神经节点相连，并通过线性加权和激活函数得到输出。而1×1卷积则可以通过调整通道数来实现类似的功能，同时保留空间维度的信息。 ### 计算方法 假设输入特征图的尺寸为 $ H \times W \times C_{in} $，其中 $ H $ 和 $ W $ 分别表示高度和宽度，$ C_{in} $ 表示输入通道数；输出特征图的通道数为 $ C_{out} $，即希望得到的神经元数量。 使用1×1卷积时，卷积核大小为 $ 1 \times 1 \times C_{in} \times C_{out} $，即每个输出通道对应一个 $ 1 \times 1 \times C_{in} $ 的卷积核。在计算过程中，每个输出位置的值是该位置在所有输入通道上的加权和，权重由对应的1×1卷积核参数决定。 具体步骤如下： - 输入张量形状：$ H \times W \times C_{in} $ - 卷积核形状：$ 1 \times 1 \times C_{in} \times C_{out} $ - 输出张量形状：$ H \times W \times C_{out} $ 在实际计算中，1×1卷积会遍历输入图像的每一个空间位置（即每一个 $ H \times W $ 点），并对每个点执行如下操作： $$ \text{output}[i,j,k] = \sum_{c=0}^{C_{in}-1} \text{input}[i,j,c] \cdot \text{weight}[0,0,c,k] + \text{bias}[k] $$ 其中 $ i, j $ 是空间坐标，$ k $ 是输出通道索引，$ c $ 是输入通道索引，`weight` 是卷积核参数，`bias` 是偏置项。 这种操作等价于将全连接层的权重矩阵拆分到每个空间位置，并通过卷积操作实现全局连接的效果。 ### 原理分析 1. **全连接层的局限性** 全连接层要求输入是一维向量，因此需要对多维数据进行 Flatten 操作。这种方式会导致空间信息丢失，并且参数数量庞大，容易引发过拟合问题[^1]。 2. **1×1卷积的优势** - **保持空间结构**：1×1卷积不需要 Flatten 操作，能够保留输入的空间维度，从而维持局部感受野信息。 - **减少参数数量**：相比全连接层，1×1卷积的参数数量显著减少。例如，对于 $ C_{in} $ 个输入通道和 $ C_{out} $ 个输出通道，1×1卷积的参数数量为 $ C_{in} \times C_{out} $，而全连接层的参数数量为 $ H \times W \times C_{in} \times C_{out} $。 - **灵活性**：1×1卷积可以在不同层级之间灵活调整通道数，适用于构建更复杂的网络模块（如 Inception 模块）。 3. **应用场景** 1×1卷积广泛应用于现代卷积神经网络中，尤其是在 GoogLeNet、ResNet 等模型中，用于控制通道数量并提升模型表达能力。此外，它还常用于将全连接层转换为卷积层，以支持任意尺寸输入的处理[^2]。 ### 示例代码 以下是一个简单的 PyTorch 实现，展示如何用1×1卷积替代全连接层： ```python import torch import torch.nn as nn # 定义1x1卷积层 conv1x1 = nn.Conv2d(in_channels=64, out_channels=10, kernel_size=1) # 模拟输入 (batch_size=1, channels=64, height=7, width=7) input_tensor = torch.randn(1, 64, 7, 7) # 执行1x1卷积 output_tensor = conv1x1(input_tensor) print(output_tensor.shape) # 输出: torch.Size([1, 10, 7, 7]) ``` 在这个例子中，1×1卷积将输入通道从64减少到10，相当于实现了全连接层的功能，但保留了空间维度。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值