【深度学习的骨架与脉搏】注意力机制（三）（不同注意力机制对比）

已于 2025-04-14 11:24:51 修改
阅读量5.7k 收藏 97
点赞数 59
CC 4.0 BY-SA版权
分类专栏： 《深度学习理论直觉三十讲》 文章标签： 深度学习 人工智能 transformer 注意力机制
于 2024-04-24 09:12:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_67656158/article/details/138117621

🌈 个人主页：十二月的猫-优快云博客
🔥 系列专栏： 🏀《深度学习理论直觉三十讲》_十二月的猫的博客-优快云博客

💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光

目录

回顾

注意力机制本质 

注意力机制是父类

注意力机制的限制 

自注意力机制

交叉注意力机制 

 XXX注意力机制

总结

============================更新于2025.4.14=================================

    &nb

了解本专栏 订阅专栏 解锁全文 超级会员免费看
注意力机制变体大比拼：Self/Cross/Efficient/Deformable Attention性能对比
2401_88760782的博客
03-20 543
在某些情况下，你可能需要设计自定义的注意力机制。# 自定义注意力机制模板# 1. 定义投影矩阵# 2. 定义其他必要组件# 3. 自定义组件# 默认为自注意力# 1. 投影# 2. 自定义注意力计算# 3. 输出投影# 在子类中实现具体的注意力计算逻辑使用这个模板，你可以通过继承并实现# 示例：自定义混合注意力机制# 创建不同类型的注意力计算器# 根据序列长度动态选择注意力机制# 短序列使用标准注意力else:# 长序列使用高效注意力。
【深度学习的骨架与脉搏】注意力机制（四）（多头注意力机制）
十二月的猫
04-28 8040
前文，我们介绍了自注意力机制：自注意力的QKV是同源的。同源的好处就是更容易发现序列内部的信息，但是也存在一些可以改进的地方。例如：对于一个待分析的序列矩阵，它存在许多方面的特征。此时我们要用一个参数矩阵Wq、Wk去分析并学习出序列中的这么多特征。由于参数矩阵的维度是有限的，所以一次性学习多特征的信息必然会造成信息学习的模糊性，所以作者又提出了多头注意力机制下图为多头注意力机制模型图：它为注意力机制提供了多个投射子空间的可能。
mask rcnn算法分析_注意力模型RPN（faster-rcnn）与APN(RA-CNN）对比精析
weixin_39628256的博客
11-21 1447
文章有些长，建议收藏后慢慢看。细粒度图像分类仍然是一个可以出文章的课题。做这个方向的人，我觉得可以好好琢磨注意力机制。注意力机制的本质跟人眼的工作原理是相近的，因而可以让机器更智能。学习就是一个建立知识树的过程。网上有很多文章都只是树身上树干上的一个小枝干，所以不能给你建立一个完整的知识体系树。今天我这篇文章也只是一个小枝干。我力争让大家能够窥一斑而知全豹。Faster-rcnn和RA-CNN两篇...
深度学习建模训练总结（五）：梳理NLP发展里程碑——各种注意力机制对比分析
jesseyule的博客
09-17 6828
之前提到，seq2seq的一大缺点是单一的语义向量难以表达长序列的完整语义，而改善这一问题的一个有效方法就是结合注意力机制，在不同的时刻针对输出计算包含不同语义的语义向量： 所谓注意力机制，本质上就是在分析过程中引入权重，在本文，我主要介绍两种注意力计算框架：原始的计算框架和multi-head attention，从原始的框架中又进一步划分为：soft attention（key=value）、soft attention（key!=value）、self-attention（query=key=va.
自注意力（Self-Attention）和交叉注意力（Cross-Attention）
最新发布
weixin_44012667的博客
05-20 895
• 在跨模态任务（如图文生成）中，可让Key/Value来自图像特征，Query来自文本。通过合理结合这两种注意力机制，模型能够同时理解序列内部结构并实现跨序列的信息对齐。• 通过掩码（Masking）控制解码器只能访问已生成的位置。建立两个不同序列之间的关联关系，实现跨模态或跨序列信息融合。分析同一序列内部元素之间的依赖关系，捕捉长距离上下文信息。• Transformer解码器中的编码器-解码器注意力层。• Transformer编码器和解码器的自注意力层。• 交叉注意力会让模型关注英文原句中的。
【深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别
UESTC_201722的博客
03-24 1万+
最近以QA形式写了一篇nlp中的Attention注意力机制+Transformer详解 分享一下自己的观点，目录如下：一、Attention机制剖析1、为什么要引入Attention机制？2、Attention机制有哪些？（怎么分类？）3、Attention机制的计算流程是怎样的？4、Attention机制的变种有哪些？5、一种强大的Attention机制：为什么自注意力模型（self-Atte...
常见注意力机制原理介绍与对比
linchuhai的博客
02-13 2万+
1. 引言     自从2014年Seq2Seq提出以来，神经机器翻译取得了很多的进展，但是大部分模型都是基于encoder-decoder的结构，这就要求encoder对于输入序列的编码能力要足够强，才能确保得到的输入序列的上下文向量能够尽可能地保留输入序列的信息。而我们知道，随着句子的长度逐渐变长，上下文向量的表达能力其实是会逐渐下降的，因为它没法完全保留输入序列的大部分信息。因此，为了克服...
【深度学习的骨架与脉搏】注意力机制（一）（基本思想）
十二月的猫
04-19 2545
神经网络中的注意力机制（Attention Mechanism）是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。在神经网络学习中，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。那么通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。
【深度学习的骨架与脉搏】注意力机制（二）（自注意力机制）
十二月的猫
04-19 1975
自注意力机制最关键的点在于：K、Q、V来源于同一个X，这三者是同源的现在外界只提供一个待查询对象X，我们需要从这个对象中提炼出板块分配K， 爱好信息Q，以及实际查询对象V提炼的方式：1、分配三个参数给Q、K、V2、通过监督学习提供的大量数据，来学习的值3、实现通过内部数据学习得到三个信息。
【深度学习的骨架与脉搏】语义分割的卷积神经网络·U-Net
十二月的猫
04-14 1683
这篇深度学习文章深入解析U-Net架构——语义分割领域的里程碑式卷积神经网络。文章从U-Net独特的对称编码器-解码器结构出发，详解其跳跃连接机制如何有效融合浅层细节与深层语义特征，实现像素级精准分割。通过剖析经典医学图像分割案例，展示U-Net在有限数据下表现优异的秘密，同时探讨其在工业检测、自动驾驶等领域的创新应用。读者将掌握U-Net的核心设计思想。
深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别
青灵_Yaffa的博客
11-23 504
【深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别转载 [各种注意力机制](https://zhuanlan.zhihu.com/p/376929247)本次更新主要包含了三个方面： 转载 各种注意力机制 论文 ：https://arxiv.org/abs/2105.02358 代码：https://github.com/MenghaoGuo/-EANet 本次更新主要包含了三个方面： 加入了 multi-head ex
深入理解图注意力机制（Graph Attention Network）
04-21
图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。
YOLOv5-6.1添加注意力机制（SE、CBAM、ECA、CA）消融实验结果对比
zhouzongzong的博客
07-09 6361
YOLOv5-6.1添加注意力机制（SE、CBAM、ECA、CA）消融实验结果对比
【深度学习实验】注意力机制（四）：点积注意力与缩放点积注意力之比较
天地玄黄 魑魅魍魉 风花雪月 商角徵羽
11-21 1615
本文介绍了注意力机制中的点积注意力与缩放点积注意力模型之比较
注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
2401_84494441的博客
02-24 2486
举几个栗子：看人–>看脸看文章–>看标题看段落–>看开头这时候大家应该大致知道注意力机制是个什么东西了吧~注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 15万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
【面试】Cross Attention 和 Self Attention 主要的区别是什么？
Lewiz_124的博客
09-07 2730
是 Transformer 架构中的核心机制，主要用于捕捉。
一文搞懂深度学习的注意力机制 | 软和硬到底如何抉择？
YOLOv8项目贡献者
04-28 9183
大白话解析注意力机制
图注意力机制
m0_56727265的博客
06-03 3391
aaa
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十二月的猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值