卷积神经网络中的add和concat

最新推荐文章于 2024-04-29 10:25:58 发布
最新推荐文章于 2024-04-29 10:25:58 发布
阅读量3.6k 收藏 22
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 深度学习 深度学习框架 深度学习环境 文章标签： cnn 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/charles_zhang_/article/details/124703046
本文解析了深度特征融合中Add（特征图相加）和Concat（通道数增加）的区别，介绍了它们在ResNet和DenseNet等网络中的应用，强调了保留原始激活和多尺度特征融合的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考博客：深度特征融合---理解add和concat之多层特征融合_xys430381_1的博客-优快云博客_特征图相加

在这里插入图片描述

 

Add是特征图相加，通道数不变

简言之，add是将多次提取到的语义信息叠加，会突出正确分类的比例，有利于最后分类，实现了正确分类的高激活

add单个通道的计算量：

在这里插入图片描述

实例

Resnet网络的残差结构将经过处理和未经过处理的输入进行add，目的保留原始图像中的正确高激活，避免在处理过程中对正确激活的削弱，所以才有了那句“有时候什么都不做才是最好的”

Concat是通道数的增加

同Add相比，concat只是在特征图数量上增加了（叠加），增加了原图像的特征数，实现了多尺度特征的融合，在特征图较多的情况下，add可以认为是特殊的concat形式，concat的计算量要远大于add操作

concat单个通道的计算量：

在这里插入图片描述

实例

分类网络DenseNet或者经典分割网络Unet结构都是使用低纬度特征图叠加高纬度特征图，进行特征融合在进行分类，因为高纬度和低纬度卷积核提取得到的特则是不同，低纬度倾向于提取轮廓特征，高纬度提取无法解释的高纬度融合特征，二者结合可以得到多个角度的特征，更有利于识别

在这里插入图片描述

在这里插入图片描述 

 

基于cnn卷积神经网络 Adaboost 支持向量机 随机森林 决策树 火灾图像检测识别
06-28 511
基于cnn卷积神经网络 Adaboost 支持向量机 随机森林 决策树 火灾图像检测识别
卷积神经网络（CNN）
LorryXY^_^的专栏
03-06 2951
在上篇中介绍的输入层与隐含层的连接称为全连接，如果输入数据是小块图像，比如8×8，那这种方法是可行的，但是如果输入图像是96×96，假设隐含层神经元100个，那么就有一百万个（96×96×100）参数需要学习，向前或向后传播计算时计算时间也会慢很多。 　　解决这类问题的一种简单方法是对隐含单元和输入单元间的连接加以限制：每个隐含单元仅仅只能连接输入单元的一部分。例如，每个隐含单元仅仅连接输入
信息融合之Add与Concat，你了解它们吗？
weixin_38646522的博客
05-13 2196
信息融合举例 特征融合目前有两种常用的方式，一种是addaddadd操作，这种操作广泛运用于ResNetResNetResNet与FPNFPNFPN中。一种是ConcatConcatConcat操作，这种操作最广泛的运用就是UNetUNetUNet，DenseNetDenseNetDenseNet等网络中。如下图所示： 也有如HRNetHRNetHRNet这样的，多分辨率之间使用addaddadd形式的特征融合。 代码演示 >>> import torch >>>
concat 与 add
weixin_45456178的博客
04-25 2791
在卷积神经网络中，经常会涉及到特征图之间的合并 合并的方法一般有两种，一种是concat，一种是add add: 在图像通道数不变的情况下，将两张特征图的数值相加，优点是可以减少运算量 concat：在保留特征图内各通道数值不变的情况下，将通道直接叠加，相当于是把两张特征图打包成一个了，其实里面还各是各的 talk is cheap, show me the code >>> import torch >>> img1 = torch.randn(2, 3
模态融合中的add和concat
Lison_Zhu's Blog
12-23 862
concat是通道数增加 add是通道数不变，特征图相加
神经网络量化入门--Add和Concat
AI小男孩的专栏
03-14 2403
神经网络量化入门系列第六篇：Add和Concat的量化
CNN（卷积神经网络）基础网络总结
weixin_63935879的博客
04-29 1961
VGG系列主要包括VGG11、VGG13、VGG16、VGG19，结构大差不差，都是由基本模块进行堆叠而成。
如何理解卷积中的add与concatnate操作
Able的博客
01-03 3109
add操作经典代表网络是ResNet，concate操作代表网络是Inception系统网络中的Inception结构和DenseNet。 Resnet是做值的叠加，通道数是不变的，DenseNet是做通道的合并。你也可以这么理解，add是描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加，这显然是对最终的图像的分类是有益的。而concat是通道数的合并，...
机器学习笔记 - 使用3D卷积神经网络进行视频分类
学以致用 知行合一
10-14 1249
例如，内核大小的 (2 + 1)D 卷积(3 x 3 x 3)需要大小为 的权重矩阵(9 * channels**2) + (3 * channels**2)，其数量不到完整 3D 卷积的一半。首先安装并导入必要的库，用于处理ZIP文件内容的Remotezip 、用于使用进度条的tqdm 、用于处理视频文件的OpenCV 、用于执行更复杂的张量操作的einops，以及用于在 Jupyter Notebook 中嵌入数据的库。(2 + 1)D 卷积允许分解空间和时间维度，因此创建两个单独的步骤。
44_特征融合concat和add的区别1
08-03
1. 做的是对应通道对应位置的值的相加，通道数不变 2. 描述图像的特征个数不变，但是每个特征下的信息却增加了 1. 做的是通道的合并，通道数变多了 2. 描述
add/concat
highoooo的博客
08-27 328
concat是通道数的增加; 不同层提取到的特征拼接在一起 add是特征图相加，通道数不变 不同层提取到的特征各取一部分
concat与add
Monica1111111的博客
03-08 1291
python中concat与add的区别
【深度学习】神经网络中的特征融合方式（add/concate）
热门推荐
weixin_44001371的博客
11-02 1万+
是通道数叠加，描述图像本身的特征增加了，而。为简单的像素叠加，；add后描述图像的，但是描述图像的维度本身并没有增加，只是，这显然是对最终的图像的分类是有益的。特征add的时候就是增加特征的，特征concat的时候就是增加特征的注重细节的时候使用add，注重特征数量的时候使用concat。
concat与add操作辨析
深度学习
03-20 2207
add相当于加了一种prior，当两路输入可以具有“对应通道的特征图语义类似”（可能不太严谨）的性质的时候，可以用add来替代concat，这样更节省参数和计算量（concat是add的2倍。add为简单的像素叠加,是描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加，这显然是对最终的图像的分类是有益的。concat是通道数的增加，也就是说描述图像本身的特征数（通道数）增加了，而每一特征下的信息是没有增加；横向或纵向空间上的叠加。add为简单的像素叠加，通道不变。
神将网络中concat和add操作区别以及各自优缺点
weixin_42613018的博客
02-19 803
Concat 操作是将输入的Tensor按照某个维度进行连接，它的优点是可以将多个Tensor连接成一个Tensor，这样可以在更高维度上处理数据。但是它存在一些缺点，比如增加了计算量，而且可能会导致维度爆炸。Add操作是将输入的Tensor按照元素逐个相加，它的优点是操作简单，不会导致维度爆炸，而且可以减少计算量，但是它的缺点是只能处理Tensor的同维度元素。 ...
Concat和Add操作
m0_56247038的博客
06-11 8669
一般情况下，feature maps的结合有两种方法，一种是元素对应相加，简称add，另一种就是把特征图堆到一起来，简称concatenate。假设feature map 1 的维度为B1∗ C1 ∗ H1 ∗ W1feature map 2 的维度为B2 ∗ C2 ∗ H2 ∗ W2 ​1）在add情况下，就是两个四维矩阵的按元素相加，那么这时候我们需要两个矩阵维度。并且相加后矩阵维度不变，例如256* 26* 26和256* 26* 26相加，结果还是256* 26* 26。...
10、卷积神经网络（补充）
PuLaNa_的博客
10-31 486
引入Residual Net实现GoogleNet
（Note）神经网络中的特征融合方式（add/concate）
Hanlin的博客
07-19 4903
HengkaiGuo的回答-知乎https//www.zhihu.com/question/306213462/answer/562776112。对于神经网络中输入的两路特征图，如果通道数相同，则add融合方式等价于concate之后对应通道共享同一个卷积核。使用add融合方式相当于为网络提供了一种先验两路输入的特征图中对应通道的语义特征类似。可以看出，使用add融合方式可以避免不同通道间语义信息的混杂。1.使用add融合=对应通道的信息融合。...
复数卷积神经网络python代码
最新发布
02-26
### 复数卷积神经网络 Python 实现代码 复数卷积神经网络（Complex Convolutional Neural Networks, CNNs）能够处理具有相位和幅度信息的数据，在某些特定领域如音频信号处理、医学成像等方面表现出色。下面提供一段基于 TensorFlow 和 Keras 的简单复数卷积神经网络实现示例。 ```python import tensorflow as tf from tensorflow.keras import layers, models class ComplexConv2D(layers.Layer): def __init__(self, filters, kernel_size, strides=1, padding='same', activation=None, **kwargs): super(ComplexConv2D, self).__init__(**kwargs) self.conv_re = layers.Conv2D(filters=filters, kernel_size=kernel_size, strides=strides, padding=padding, activation=activation) self.conv_im = layers.Conv2D(filters=filters, kernel_size=kernel_size, strides=strides, padding=padding, activation=activation) def call(self, inputs): real_input, imag_input = tf.split(inputs, num_or_size_splits=2, axis=-1) conv_real_part = self.conv_re(real_input) - self.conv_im(imag_input) conv_imag_part = self.conv_re(imag_input) + self.conv_im(real_input) return tf.concat([conv_real_part, conv_imag_part], axis=-1) def build_complex_cnn_model(input_shape=(None, None, 2)): model = models.Sequential() # 输入层假设输入数据已经分为实部和虚部两个通道 model.add(ComplexConv2D(filters=32, kernel_size=(3, 3), input_shape=input_shape)) model.add(layers.MaxPooling2D(pool_size=(2, 2))) model.add(ComplexConv2D(filters=64, kernel_size=(3, 3))) model.add(layers.MaxPooling2D(pool_size=(2, 2))) model.add(layers.Flatten()) model.add(layers.Dense(units=128, activation='relu')) model.add(layers.Dropout(rate=0.5)) # Dropout机制有助于防止过拟合[^1] model.add(layers.Dense(units=NUM_CLASSES, activation='softmax')) # NUM_CLASSES应根据具体任务定义 return model ``` 此代码片段展示了如何构建一个简单的复数卷积神经网络模型，其中包含了自定义的 `ComplexConv2D` 层来执行复数值上的卷积运算。注意这里假定输入张量的最后一维表示的是复数形式的数据，即每个像素点由一对浮点数组成分别代表该位置处的实部与虚部值。此外，为了提高泛化能力并减少过度适应训练集的风险，加入了 dropout 技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值