Attention本质剖析

最新推荐文章于 2025-06-28 17:39:37 发布
最新推荐文章于 2025-06-28 17:39:37 发布
阅读量1.3k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chinabing/article/details/83038017
本文探讨了在语音识别和机器翻译中，传统Encoder-Decoder框架存在的问题，引出注意力机制（Attention）的重要性。通过介绍常规思路和K-V-Q理解，阐述了Attention如何动态地赋予输入不同权重，提高模型表现。同时，提到了不同的对齐模型和计算方式，以及Transformer中关键的Self-Attention原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 为什么需要attention？  Why

语音识别或机器翻译领域传统Encoder-Decoder方案遇到性能瓶颈。

传统Encoder直接将所有输入(x1, ..,x4)编码至固定向量c，再通过decoder进行解码，该思路缺陷显而易见，每个输入没有显示的权值表示，导致每个输入的贡献相当。

0?wx_fmt=png

                                                         图1. 传统Encoder-Decoder框架

基于此缺陷，设计出带attention的Encoder-Decoder框架，如图2。这里面用C1，C2和C3代替了原始的C，Ci是输入的不同组合构成的，也就是说，Decoder不同时刻关注输入的组合是不一样的。例如解码Y1时只需要关注x1和x2，x3和x4的权重可以为0。

                          &n

最低0.47元/天 解锁文章

200万优质内容无限畅学
【简单总结】简单总结attention本质
weixin_44151089的博客
03-12 417
【简单理解】简单理解Attention注意力机制本质 1.简单介绍Attention注意力机制： Attention注意力机制其实可以用一句话说穿：它是Seq2Seq中的decoder模块对encoder模块的加权平均。 说的太简洁了不利于理解本质，接下来让我们来细细理解到底什么是Attention注意力机制吧。 2.Encoder-Decoder(Seq2Seq)框架 要了解深度学习中...
理解Attention注意力的本质（附代码讲解与案例）
ZJF的博客
04-26 5080
##注：阅读本文之前需要对RNN结构有了解 1级标题 什么是注意力（attention）？ 当我们想起‘注意力’（attention）这个词时，我们知道这意味着它会引导你专注于某个事物并引起更大的注意。像黑体加粗就是一种注意力。注意力机制在深度学习中则意味着在处理数据时我们会对某些因素（factors）给予更多的注意。 在更广的层面上看，attention是网络结构的一个组成，并由它负责管理和量化...
万字详解！一文带你搞明白注意力机制！！
Gupao123的博客
06-28 858
注意力机制通过计算源语言文本中每个单词的重要性，并将这些信息合并到解码器的每一步中，从而允许模型在生成每个单词时“回顾”源语言文本的相关部分。注意力机制在这里的作用是在生成目标语言的每个单词时，动态地聚焦于源语言中相关的部分，这有助于捕捉长距离依赖关系，并提高翻译的准确性和流畅性。这种类型的注意力机制会输出一个概率分布，每个输入元素都有一个对应的权重，这些权重的和为1。即自注意力机制，这是一种特殊的注意力机制，它允许输入序列中的元素相互之间计算注意力权重，这在Transformer模型中得到了广泛应用。
Attention(注意力机制代码)
07-16
Attention.zip文件中总结了几种关于注意力机制的代码，有keras和tensorflow，还有PyTorch框架的
attention的实质
van的博客
04-28 421
# Attention (batch_size,1,max_length).dot(batch_size,max_legth,embedding_size)==（batch_size,1,embedding_size）
Attention的本质：从Encoder-Decoder（Seq2Seq）理解
满腹的小不甘
04-25 2053
目录 1. 前言 2. Encoder-Decoder(Seq2Seq)框架 3. Attention原理 3.1 Soft Attention介绍 4. Attention机制的本质思想 5. 总结 1. 前言 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了...
【论文笔记】Attention总结二：Attention本质思想 + Hard/Soft/Global/Local形式Attention
changreal的博客
10-12 3920
Attention总结二： 涉及论文： Show, Attend and Tell: Neural Image Caption Generation with Visual Attentio（用了hard\soft attention attention） Effective Approaches to Attention-based Neural Machine Translation（提出...
【深度学习】 基于Keras的Attention机制代码实现及剖析——LSTM+Attention
乐川大佛的博客
12-11 5万+
说明 大部分代码来源于网上，但网上的代码一下子可能难以入门或因版本原因报错，此处整理后进行详细分析。   参考的代码来源1：Attention mechanism Implementation for Keras.网上大部分代码都源于此，直接使用时注意Keras版本，若版本不对应，在merge处会报错，解决办法为：导入Multiply层并将attention_dense.py第17行的： att...
Attention is all you need（1）—— 剖析Attention Mechanism本质 含代码测试
hesongzefairy的博客
03-23 652
目录 什么是注意机制？ 注意机制广泛应用的起点在哪？ 经典Seq2Seq模型（encoder-decoder） 为什么需要Attention Mechanism？ Soft Attention计算过程 Attention Mechanism的本质 什么是Self Attention？ 研究生阶段入手的就是attention mechanism，一直想沉下心来认真的总结一下。 想来...
史上最小白之Attention详解
热门推荐
Tink1995的博客
03-24 11万+
1.前言 说到attention机制，那可真是太牛逼了。不会attention都不好意思说自己视深度学习从业者，那么今天我们就来一步一步剖析一下这近几年来最火的深度学习模型。 2.Encoder-Decoder 2.1Encoder-Decoder简介 Encoder-Decoder框架顾名思义也就是编码-解码框架，目前大部分attention模型都是依附于Encoder-Decoder框架进行实...
attention 机制的分析
the_conquer_zzy的专栏
11-24 244
参考： https://juejin.im/post/5bbf41c3f265da0af16160d2 原理介绍： https://cloud.tencent.com/developer/article/1092249
attention机制_干货|理解attention机制本质及selfattention
weixin_39575737的博客
11-27 553
点击上方“AI遇见机器学习”，选择“星标”公众号原创干货，第一时间送达上一篇，我们讲述了attention的知识，这篇接上篇，更加深入的理解attention的有关思想和最新的self-attention机制一、Attention机制的本质思想如果把Attention机制从上文讲述例子中的Encoder-Decoder框架中剥离，并进一步做抽象，可以更容易看懂Attention机制的本质...
机器学习面试之Attention
csiao_Bing的博客
12-18 946
摘自 milter https://www.jianshu.com/p/c94909b835d6 1 RNN做机器翻译的经典思路 encoder-decoder 用RNN做机器翻译时，通常需要两个RNN网络，一个用来将接收待翻译语句，对其进行编码，最后输出一个vector，这个网络叫encoder。然后，该vector会作为输入，传给另一个RNN网络，该网络用来根据vector产生目标语言的翻译语...
关于注意力机制Attention解析
liaominghui123的博客
07-18 1092
关于注意力机制attention解析 第一部分seq2seq模型 第二部分Attention机制 第三部分self-attention 第一部分：seq2seq模型 处理数据 如以下站，可以下载到小数据集用来学习，比如在右下部分是英语翻译成的德语，是一对多的关系，只要翻译满足其中一种，就算翻译正确。 现在要结构化数据，可以基于单词也可以基于字母，这里以基于字母的来说明。首先将一句话“I am okay”,拆分成如下的排列：每一个字母可以在如下的字典里面找到它的键： 德语是目标语言，所以要加上开始和结束的键值
Attention is all you need 公式推导
a171232886的博客
05-12 581
Attention is all you need 公式推导前言一、以训练的角度看（一）输入的内容编码（二）输入的位置编码单头的attentionmulti-head attentionEncoder的后续Decoder参考 前言 Transformer的根源在于这篇文章，但这篇paper本身写的并不好懂，因为省去了大量的细节。依照上交许志钦老师的讲解才理清头绪，所以我准备以公式推导的方式记录下来这篇文章的流程。 并没有看代码，毕竟只是作为研究DETR的准备工作，听完许老师的课理论准备就够了。所以下面也都是
一文看懂 Attention（本质原理+3大优点+5大类型）
sjyttkl的专栏
02-13 2308
Attention 正在被越来越广泛的得到应用。尤其是 BERT 火爆了之后。 Attention 到底有什么特别之处？他的原理和本质是什么？Attention都有哪些类型？本文将详细讲解Attention的方方面面。 Attention 的本质是什么 Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点」。 Attention...
关于Attention的超详细讲解
WGS.
05-08 2万+
文章目录一、动物的视觉注意力二、快速理解Attention思想三、从Encoder-Decoder框架中理解为什么要有Attention机制四、Attention思想步骤五、Self-Attention5.1 Self-Attention的计算步骤5.2 根据代码进一步理解Q、K、V5.3 再来一个例子理解六、缩放点积中为什么要除以根号dk6.1 为什么比较大的输入会使得softmax的梯度变得很小？6.2 维度与点积大小的关系是怎么样的，为什么使用维度的根号来放缩？七、Multi-Head Attenti
【Attention(1)】注意力机制（attention mechanism）是解决信息超载问题的主要手段的一种资源分配方案：两种分类：自上而下和自下而上
Hali_Botebie的博客
04-27 2448
中文名：注意力机制外文名：Attention Mechanism类 别：聚焦式、基于显著性注意力机制（Attention Mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度（Acuity），只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。
干货|理解attention机制本质及self-attention
小白学视觉
03-31 1412
点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达上一篇，我们讲述了attention的知识，这篇接上篇，更加深入的理解attention的有关思想和最新的self-attention机制一、Attention机制的本质思想如果把Attention机制从上文讲述例子中的Encoder-Decoder框架中剥离，并进一步做抽象，可以更容易看懂Atte...
分别介绍Causal Attention与Self-Attention，并对比异同
最新发布
07-31
| **维度** | **自注意力（Self-Attention）** | **因果注意力（Causal Attention）** | **本质区别** | |------------------|-------------------------------------|-------------------------------------|------...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值