【知识星球】Attention网络结构上新，聚焦才能赢

最新推荐文章于 2025-07-15 00:16:09 发布
原创 最新推荐文章于 2025-07-15 00:16:09 发布 · 455 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

CBAM(Convolutional Block Attention Module)是一种结合空间和通道注意力的机制，它通过最大池化和均值池化算法，使用MLP层获取通道内空间关系，再通过降维和卷积学习通道间空间关系，提升网络对感兴趣区域的选择能力，适用于各种网络框架，实验证明其能显著提高ResNet等模型的性能。

640?wx_fmt=jpeg

继续咱们的“网络结构1000变”板块，最近上新的内容主要是Attention机制相关的网络结构，即网络如何选择真正感兴趣的区域进行处理，下面是一个代表，更多请移步知识星球网络结构1000变板块。

有三AI知识星球-网络结构1000变

CBAM

640?wx_fmt=png

以前介绍过的Dynamic Capacity Network，Perforated CNNs是从空间维度进行Attention，SENet是从通道维度进行Attention，而CBAM(

Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。

作者/编辑 言有三

通道方向的Attention通过通道内的空间关系获取，原理如下：

640?wx_fmt=png

同时使用最大pooling和均值pooling算法，然后经过几个MLP层获得变换结果，最后分别应用于两个通道，使用Sigmoid函数得到通道的Attention结果。

空间方向的Attention通过通道之间的空间关系获取，原理如下：

640?wx_fmt=png

首先将通道本身进行降维，分别获取最大池化和均值池化结果，然后拼接，再使用一个卷积层进行学习。

这两种机制，分别学习了“怎么看”，“以及看什么”，这样的两个模块可以很容易地嵌入到任何已知的框架中。

640?wx_fmt=png

上表展示了将这个方法用于不同模型后的结果，可知道该模型和SENet性能相当，都显著提升了baseline的性能，尤其是较深的ResNet50和ResNet101。

转载文章请后台联系

侵权必究

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

往期精选

《Python星球日记》 第77天：模型部署与总结
Code_流苏：在代码中寻诗意，在实践中觅真知
05-15 809
《Python星球日记》 第77天：模型部署与总结，经过了漫长而充实的学习旅程，今天我们将完成阶段性的一个重要环节：模型部署，并对之前76天的整个学习过程进行总结和展望。模型部署是将训练好的机器学习或深度学习模型投入实际应用的关键步骤，它将我们的研究成果转化为可用的产品或服务。让我们开始今天的学习吧！
AIGC从入门到实战：AIGC 在传媒行业的创新场景—人机协同创作，推动传媒向智媒转变
AI天才研究院
06-28 1029
AIGC从入门到实战：AIGC 在传媒行业的创新场景—人机协同创作，推动传媒向智媒转变 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：AIGC,AI生成内容,智能媒体,人类创造力融合,技术创
【转载】Attention Mechanism in Deep Learning
weixin_30916125的博客
03-31 1582
本篇随笔为转载，原文地址：知乎，深度学习中Attention Mechanism详细介绍：原理、分类及应用。参考链接：深度学习中的注意力机制。 Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机...
新的 self-attention 网络结构，Visual Attention Network
skyfengye的博客
02-22 2107
随着现在大家把transformer 的各种结构玩成花以后，后面也没有出什么比较经典的结构了。然后研究者们就开始挖掘以前的网络结构特点，加上各种技巧提高网络准确度。比如前段时间的ConvNeXt，各种叠技巧最后冲的很好准确度。现在又出来一个新的网络结构：Visual Attention Network。作者提出了一种新的Large Kernel Attention (LKA)模块，以使self-attention的自适应和长距离相关，同时避免了上述问题。 与MobileNet相似，它将一个标准的卷积解耦为
李宏毅深度学习self-attentin学习笔记
夏之微风的博客
09-10 712
注意力的本质思想就是说，考虑上下文的输入对当前的输入的影响，然后就和人的注意力一样，将重点放在部分输入上，值得被注意的、更为相关的输入会被分配更大的权重，也意味着更被重视。使用复杂的方式的原因在于，方法不固定，就可以利用计算结果，利用梯度下降法求出比最简单的方式可能效果更好的一种方法。接下来，我们自然会思考，在self-attention中，如何自动决定两个向量之间的相关系数为多少呢，如何自动决定2个变量之间的关联性呢。而是一次性同时被算出来的。当然，这里的输入也可以不是输入向量，而是中间层的隐藏向量。
5-11attention网络结构
持之以恒
02-02 301
SENET
Transformer系列：Multi-Head Attention网络结构和代码解析
2401_84495872的博客
06-16 1250
Self Attention就是自身和自身进行Attention，具体为句子内部的每个字/词之间进行通信，计算出句子中每个字/词和其中一个目标字/词的注意力权重，从而得到目标字/词的embedding表征self attention示意图在Transformer中Self Attention采用Scaled Dot-Product Attention（缩放点积注意力），采用**向量内积计算两两字/词的相似度**，相似度越大注意力权重越大，融合这个词的信息越多。
ChatGPT创意写作：思维链prompt的妙用
AI天才研究院
01-31 827
ChatGPT创意写作：思维链prompt的妙用 关键词：ChatGPT、创意写作、思维链prompt、Transformer、文本生成、自然语言处理 摘要：本文深入探讨了如何利用ChatGPT进行创意写作，并重点介绍了思
自然语言处理在AI原生应用中的5个核心算法解析
最新发布
AI天才研究院
07-15 450
本文旨在系统性地介绍自然语言处理技术在AI原生应用中的核心算法，帮助开发者理解这些算法的原理、实现方式以及实际应用场景。文章将从基础概念开始，逐步深入5个核心算法，每个算法都包含原理讲解、数学模型、代码实现和应用场景分析。自然语言处理(NLP): 计算机理解、解释和生成人类语言的技术AI原生应用: 以AI为核心功能而非附加功能的应用系统词嵌入: 将词语映射到高维向量空间的表示方法词嵌入：将词语映射到向量空间的基础技术RNN：处理序列数据的经典神经网络架构注意力机制：让模型聚焦重要信息的关键机制。
AI视频创作原理
08-17 1267
I2VGen-XL由达摩院研发的高清视频生成基础模型之一，其核心部分包含两个阶段，分别解决语义一致性和清晰度的问题，参数量共计约37亿，模型经过在大规模视频和图像数据混合预训练，并在少量精品数据上微调得到，该数据分布广泛、类别多样化，模型对不同的数据均有良好的泛化性。随着文生视频模型的发展，出现了更多的多模态视频文本数据集，以及更好、更通用的数据集。在这个公式中，E是预训练的编码器，x是给定的视频，ϵ是噪声，c是选定的条件，t是时间步长，zt是噪声破坏的潜在表示。AI视频创作的任务面临着多方面的独特挑战。
Attention机制结构详解
kira_kang的博客
09-15 1648
引言 Bert使用了Transformer为主要框架，Transformer能够更彻底的捕捉语句中的双向关系。Transformer的整个网络架构完全是由attention机制组成。因此，想要了解Bert需要从认识attention机制开始。
attention结构理解。
a_123456598的博客
09-19 745
attention结构理解。 一、概念 1.起源 2.定义。 注意力机制（Attention）没有特别严格的限制，只要是从画面大量信息中提取出有用的核心信息，就能算做是attention机制。 （比如传统的局部图像特征提取、滑动窗口等方法都可以看作是注意力机制。） 注意力机制通常是一个另外的一个神经网络，给输入的不同部分分配不同的权重。 3.意义 给重要的部分分配更大的权重，能够使模型的性价比更高。 4.种类 （1）空间维度：inception-v1（google-net）
Attention的可解释性及其在网络结构中的应用
yinizhilianlove的博客
06-24 1595
来源: AINLPer 微信公众号（每日更新…） 编辑: ShuYini 校稿: ShuYini 时间: 2020-06-18 引言      本文首先讨论了使用注意力的关键神经网络体系结构；接着讨论了在神经网络中加入注意力是如何带来显著的性能提高的，通过Attention的可解释性，对神经网络内部工作的有了更深入的了解；最后讨论了三个应用领域的注意建模的应用。 参考论文获取：关注 AINLPer 回复：AMZS Attention在神经网络结构中的应用     面将介绍三种与注意力机制结合使用的神经网.
Attention 机制
weixin_NineDays66
10-29 2033
SENet 详解 https://blog.youkuaiyun.com/xjz18298268521/article/details/79078551 图解 1.基础网络结构 2.各阶段计算方式公式 3.结构图： 简介 为了更清楚地介绍计算机视觉中的注意力机制，这篇文章将从注意力域（attention domain）的角度来分析几种注意力的实现方法。其中主要是...
【神经网络】学习笔记十六——Attention机制
杨的博客
08-31 3256
本文介绍Attention机制，其经典使用是在NLP中搭配RNN（一般为LSTM）做编码解码器（Seq2Seq），用于给编码过程中每一步的状态分配权重，然后加权求和得到解码过程中每一步解码时的状态向量，参与计算，得到本步的输出。 在学习笔记十四中，我介绍了Seq2Seq机制，文章的最后也带着说了一点Attention机制，大家可以去看看。 一、Attention的本质是什么 Attention（注意力）机制的本质可以概括为以下几句相同意思的话，都解释的很透彻： （1）从关注全局到关注重点：将有限的注
Attention 网络层学习总结
weixin_45259896的博客
06-15 359
#目录： 一 ：必读的博客与论文 二 ：keras attention项目 三 ：对Attention的一些个人理解 #一：必读的博客与论文 1 Google 的论文：《Attention is all you need》 2 《attention is all you need》解读 3 《Attention is All You Need》浅读（简介+代码）（苏剑林大佬写的） 4 Transformer(一) – 论文解读 5 Attention原理及TensorFlow AttentionWr
浅谈Attention及Transformer网络
热门推荐
rosefun96的博客
12-09 2万+
1 Transformer 模型结构 Attention 的编码，把一个输入序列(x1,...,xn)(x_1,...,x_n)(x1​,...,xn​)表示为连续序列z=(z1,...,zn)\mathbf {z} = (z_1,...,z_n)z=(z1​,...,zn​).给定z\mathbf {z}z, 解码生成一个输出序列 (y1,...,ym)(y_1,..., y_m)(y1​,.....
DNN结构：CNN、LSTM/RNN中的Attention结构
wishchinYang的专栏
07-06 1万+
前言        attention作为一种机制，有其认知神经或者生物学原理: 注意力的认知神经机制是什么？        如何从生物学的角度来定义注意力？        大多数attention (gating) 技巧都可以直接加入现有的网络架构，通过合理设计初始化和训练步骤也可以利用现有网络的预训练参数。这大大扩展了这些技巧的适用范围。        参考此文：Recurrent...
图解Attention学习笔记
a_blade_of_grass的博客
06-14 1209
教程是来自。
CNN-LSTM-Attention网络结构。
05-12
好的，我现在需要帮助用户理解或设计CNN-LSTM-Attention的网络结构。首先，我应该回忆一下用户提供的引用内容，看看有没有相关的信息可以利用。引用[1]提到CNN-BiLSTM-Attention结合了CNN、BiLSTM和注意力机制，适用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值