深度可分离卷积 （Depth-wise Separabel Convolution）

最新推荐文章于 2024-04-14 03:15:56 发布
原创 最新推荐文章于 2024-04-14 03:15:56 发布 · 1.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习

深度可分离卷积

深度可分离卷积 = depth-wise conv + point-wise conv。
depth-wise conv：输入特征图每个通道作为一个group，用一个kernel处理。
point-wise conv：kernel size =1 的普通卷积。

import torch
import torch.nn as nn

stride = 1
kernel_size = 3
in_ch = 10
out_ch = 3

conv_normal = nn.Conv2d(in_channels=in_ch,
                        out_channels=out_ch,
                        kernel_size=kernel_size,
                        stride=stride)

input = torch
最低0.47元/天 解锁文章
【深度学习】深度学习中的各种卷积
q742971636的博客
04-13 1219
convolution 卷积 Transpose Convolution 转置卷积 反卷积 常用在图像分割，比如U-Net网络就用了。 Dilated convolution 膨胀卷积 空洞卷积 扩张卷积 Depthwise Separable Convolution 深度可分离卷积 MobileNet 系列网络在使用。 深度可分离卷积分为深度卷积（Depth-wise Convolution）和逐点卷积（Point-wise Convolution）两步 深度卷积就是把h×w×ch\times w\t
深度可分离卷积（Depthwise seperable convolution）
冰雪棋书的博客
05-19 9万+
一、深度可分离卷积（Depthwise separable convolution） 一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map。相比常规的卷积操作，其参数数量和运算成本比较低。 二、常规卷积操作 对于5x5x3的输入，如果想要得到3x3x4的feature map，那么卷积核的shape为3x3x3x4(即：)；
什么是分组卷积、深度可分离卷积?附上深度可分离卷积代码
weixin_43960370的博客
04-22 5019
分组卷积，g = in = out,此时每个卷积核只负责一个通道，生成的特征图之间不存在信息交换(即在通道维度不存在信息交换)1 x 1卷积，用来实现通道件的信息交换，但在空间层面上缺少信息交流。可以使用 torch.nn.Conv2d() 中的卷积组参数groups，来实现深度可分离卷积。groups 参数是用于控制输入和输出的连接的，表示要分的组数(in_channels 和out_channels 都必须能被 groups 参数整除)。
Depthwise卷积与Pointwise卷积
热门推荐
干巴他爹的小本本
08-12 13万+
Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作Depthwise Separable Convolution(参见Google的Xception)，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。 常规卷积操作 对于一张5×5像素、三通道彩色输入图片（shape为...
理解depth-wise 卷积
豆芽菜
03-07 915
EfficientNet利用depth-wise卷积来减少FLOPs但是计算速度却并没有相应的变快。反而拥有更多FLOPs的RegNet号称推理速度是EfficientNet的5倍。非常好奇，这里面发生了什么，为什么计算量小的网络推理速度反而慢于计算量大的网络？
如何在pytorch中使用可分离卷积 depth-wise Separable convolution
weixin_39326879的博客
04-14 1万+
针对深度级别/可分离的卷积，可以使用卷积组参数，如果groups = nInputPlane，就是Depthwise；如果groups = nInputPlane，kernel=(K, 1)（针对二维卷积，groups=1 and kernel=(1, K)），就是可分离的。 ...
Python/torch/深度学习——深度可分离卷积（Depthwise Separable Convolution， DSC）
eagle_Annie的博客
10-24 3449
深度可分离卷积学习记录。
卷积核里面的参数怎么来的_深度可分离卷积（Depthwise separable convolution）
weixin_39669265的博客
11-30 1865
一、深度可分离卷积（Depthwise separable convolution）一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map。相比常规的卷积操作，其参数数量和运算成本比较低。二、常规卷积操作对于5x5x3的输...
深度学习网络结构笔记----Depthwise卷积与Pointwise卷积--深度可分卷积-- GoogleNet，Xception，MobileNetv1--v3
YOULANSHENGMENG的博客
11-05 8043
1，常规卷积操作 对于一张5×5像素、三通道彩色输入图片（shape为5×5×3）。经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4），最终输出4个Feature Map，如果有same padding则尺寸与输入层相同（5×5），如果没有则为尺寸变为3×3。 Depthwise Separable Convolution是将一个完整的卷积运算分解为两步进行，即Depthwise Convolution与Pointwise Convolution。...
深度可分离卷积
zfjBIT的专栏
10-26 8506
深度可分离卷积
深度可分离卷积(总结)
不佛的博客
07-09 4706
深度可分离卷积(Depthwise Convolution) = 深度卷积(Depthwise Convolution) + 逐点卷积(Pointwise Convolution)。 深度卷积 分组卷积(Group Convolution)： 输入通道数c_in，输出通道数c_out, 将输入feature map分为G组，每组分别卷积，最后进行拼接。 分组卷积作用： 参数量减少为原来的1/G 分组前：c_in * c_out * k^2 分组后：(c_in / G) * (c_out / G) * k
Python torch 深度学习——深度可分离卷积（Depthwise Separable Convolution， DSC）_深度可分离卷积代码
m0_60666452的博客
04-14 1254
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。深度可分离卷积（Depthwise Separable Convolution， DSC）包括深度卷积和逐点卷积两个步骤。我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。工欲善其事必先利其器。
深度学习-深度可分离卷积详解
Vivinia的博客
11-18 1652
为了计算方便，这里先固定stride=1，padding=1，卷积核大小DK=3，这样卷积后和之前的特征图大小相等，都是DF。 普通卷积： M=3为通道数，DF为特征图大小，N=5为卷积核个数，经过卷积特征图大小为DF不变，通道变为N。 矩阵运算次数：DF*DF*M*N*DK*DK 卷积核参数：DK*DK*M*N ...
深度可分离卷积代码
qq_45152711的博客
08-21 1728
【代码】深度可分离卷积代码。
深度可分离卷积（DepthwiseSeparableConvolution）：Depthwise卷积与Pointwise卷积
xu.hyj
07-24 1万+
深度可分离卷积不用多说，在轻量级网络架构方面是一个绕不开的话题，只要接触深度学习多多少少会接触。深度可分离卷积即DepthwiseSeparableConvolution，该卷积将一个常规卷积过程划分成两个完成Depthwise卷积和Pointwise卷积，在保证输出一样时，计算量大大降低。首先来看，一个常规卷积是怎么实现的。其示意图如果我们从通道数变换的角度来看，卷积就是将3通道的tensor变为了4通道的tensor，我们来看看深度可分离卷积是怎么实现通道的变化的。...
一文读懂Depthwise卷积
码农ZZK的博客
11-15 1万+
视频来源： https://www.bilibili.com/video/av67348232?from=search&seid=10221504884724623592 常规卷积 相信接触过卷积神经网络的都知道常规卷积的操作 我们通过N个DkDk大小的卷积核 卷积出来的结果 设为DnDn*N 现在我们来计算一下常规卷积的计算开销 一个卷积核做一次卷积操作需要的开销为 ...
详细向我介绍一下depth-wise separable convolution(DSC)
最新发布
05-28
<think>好的，我现在需要处理用户关于深度可分离卷积（Depth-wise Separable Convolution，DSC）的查询。用户希望了解其详细概念、工作原理以及实现方式。首先，我得回忆一下DSC的相关知识，确保自己理解正确。 首先，深度可分离卷积分为两个步骤：深度卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution）。常规卷积在同时处理空间和通道信息时计算量较大，而DSC将这两个步骤分解，从而减少计算量和参数数量。我需要分步骤解释这两个部分，并比较与传统卷积的区别。 接下来，用户可能关心为什么DSC能降低计算量。这里需要数学公式的支持。常规卷积的计算量是$D_K\timesD_K\timesM \times N\timesD_F\timesD_F$，而深度卷积是$D_K \times D_K \times M\timesD_F\timesD_F$，逐点卷积是$1\times1\timesM \times N\timesD_F\timesD_F$。总和应该比原来的小很多，尤其是当N较大时。可能需要用具体例子说明，比如输入通道M=256，输出N=512，卷积核3x3，这样参数数量对比会更明显。然后，用户提到的引用中有提到参数数量是常规卷积的约1/N+1/D²K，这里需要确认是否正确。比如常规卷积的参数是D_K²*M*N，而DSC的参数是D_K²*M（深度）加上1*1*M*N（逐点），总和是D_K²*M +M*N。所以参数比例应该是（D_K²*M +M*N）/(D_K²*M*N) =1/N +1/D_K²。这可能就是引用中的公式，需要确认是否正确，并举例说明。工作原理部分，需要强调分解后的两个步骤如何保持特征提取的有效性。深度卷积负责每个输入通道的空间特征，逐点卷积负责组合通道信息。这样在减少计算量的同时，仍然能捕捉到必要的特征。可能还需要提到这种结构与常规卷积相比的优缺点，比如计算效率高，但可能在某些情况下表达能力较弱，但通过增加网络深度来弥补。 实现部分，用户可能需要代码示例。例如，在TensorFlow或PyTorch中如何实现DSC。比如在PyTorch中，可以用分组卷积来实现深度卷积，设置groups等于输入通道数，然后接一个1x1的卷积层作为逐点卷积。需要给出代码片段，并解释每个步骤的作用。用户提供的引用中，引用1和2提到了DSC的结构和计算成本，引用3似乎无关，可能需要忽略。需要确保回答中正确引用这些内容，比如在解释计算量时引用[^2]，在分解步骤时引用[^1]。可能还需要考虑用户的实际应用场景，比如移动端或嵌入式设备，因为DSC常用于计算资源有限的环境。可以提到MobileNet等模型中的应用，作为例子。最后，生成相关问题时要围绕DSC的扩展内容，比如优化方法、与其他结构的对比、实际应用中的挑战等。总结，回答的结构应该是：1.概念介绍，分解两个步骤；2.计算量和参数量的分析，公式对比； 3.工作原理的优势； 4.实现方式，代码示例； 5.应用场景； 6.相关问题。</think>### 深度可分离卷积（Depth-wise Separable Convolution）详解 #### 1. **基本概念** 深度可分离卷积（DSC）将传统卷积分解为两个独立操作：**深度卷积（Depthwise Convolution）** 和 **逐点卷积（Pointwise Convolution）**，显著降低计算量和参数量[^1]。 - **传统卷积**：同时处理空间（宽高）和通道维度，计算成本高。 - **DSC**：先提取单个通道的空间特征，再跨通道组合信息。 #### 2. **工作原理** **步骤1：深度卷积** - 每个输入通道单独进行空间卷积，不跨通道融合。 - 输入：$M$个通道的特征图，输出仍为$M$个通道。 - 卷积核尺寸：$D_K \times D_K \times 1$（每个通道对应一个核）。 **步骤2：逐点卷积** - 使用$1 \times 1$卷积跨通道融合信息，生成$N$个输出通道。 - 卷积核尺寸：$1 \times 1 \times M \times N$。 $$ \text{传统卷积计算量} = D_K \times D_K \times M \times N \times D_F \times D_F $$ $$ \text{DSC计算量} = \underbrace{D_K \times D_K \times M \times D_F \times D_F}_{\text{深度卷积}} + \underbrace{1 \times 1 \times M \times N \times D_F \times D_F}_{\text{逐点卷积}} $$ 当$D_K=3$时，计算量可减少至传统卷积的约$1/9 + 1/N$[^2]。 #### 3. **实现示例（PyTorch）** ```python import torch.nn as nn class DepthwiseSeparableConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3): super().__init__() # 深度卷积：groups=in_channels表示每个输入通道独立卷积 self.depthwise = nn.Conv2d( in_channels, in_channels, kernel_size=kernel_size, padding=kernel_size//2, groups=in_channels ) # 逐点卷积：1x1卷积跨通道融合 self.pointwise = nn.Conv2d( in_channels, out_channels, kernel_size=1 ) def forward(self, x): x = self.depthwise(x) x = self.pointwise(x) return x ``` #### 4. **优势与应用** - **轻量化**：参数量减少约$1/N + 1/D_K^2$[^2]，适合移动端（如MobileNet）[^1]。 - **局部特征保留**：深度卷积专注空间信息，逐点卷积控制通道维度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值