自然语言处理中的Attention机制

最新推荐文章于 2025-03-31 17:13:10 发布
最新推荐文章于 2025-03-31 17:13:10 发布
阅读量730 收藏 1
点赞数
分类专栏： JDNLP 历程 文章标签： python 机器学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_31267769/article/details/109100610
版权
注意力机制在自然语言处理中至关重要，它允许模型对序列的不同部分赋予不同权重。在seq2seq模型中，Attention机制通过计算query与values向量的加权求和来动态聚焦关键信息。本文详细介绍了Attention的计算过程，包括soft、global、hard和local attention的差异，并探讨了如何通过改变Attention score、分布和隐藏状态的加权平均方式来创新Attention机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Attention机制的理解

Attention机制也就是注意力机制，在自然语言处理中，就是对于一个语言序列的不同的部分给予不同的注意力，在数学上一般表现为权重，也就是对一个语言序列的各个元素加权。

对Attention机制给一个通用的定义：给定一组向量集合values，以及一个向量query，attention机制是一种根据该query计算values的加权求和的机制。这个定义来源于cs224n。

所谓attention就是这个value集和中的每个向量的权值的大小，attention机制就是用一种方式来计算出这个权值。

seq2seq中Attention机制的运用

attention在seq2seq模型中的计算方法大致如下：

  1. 将文本信息输入encoder模型中，每一步均会产生一个hidden state：h_1,h_2,h_3,...,h_n
  2. 将encoding最后一个hidden state作为decoder中hidden state的初始值，输入到decoder中。
  3. 在decoder中每一个timestep均会产生一个hidden state：
最低0.47元/天 解锁文章
深度学习之自然语言处理（Attention）
weixin_55922470的博客
05-24 488
这里我们所做的改进只是将编码器的全部时刻的隐藏状态取出来而已。通过这个小改动，编码器可以根据输入语句的长度，成比例地编码信息。可以像我们人类一样，将“注意力”集中在必要的信息上。编码器的输出的长度应该根据输入文本的长度相应地改变。中，仅将编码器最后的隐藏状态向量传递给了解码器。1.1 seq2seq存在问题。个单词，此时编码器输出 5。的反向传播是 Repeat。这里重述一下要点：“
自然语言处理之Attention机制
weixin_44478207的博客
07-07 490
自然语言处理之Attention机制与公式推导   一说Attention，一些人就说seq2seq，self-attention，transformer，把attention比作nlp方向的核武器。但是实际上attention更早出现于CV领域，之后2016年在Relation Extraction（至少有这个）方向上有着较早的应用。直到2017年才被大规模应用于Seq2Seq model。因此，attention并非只应用于Seq2Seq model，也非nlp独有。本博文针对网络上介绍attentio
自然语言处理中的Attention Model：是什么及为什么
zdy0_2004的专栏
01-21 1032
转自 张俊林        http://blog.youkuaiyun.com/malefactor/article/details/50550211 要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一，在很多场景被证明有效。听起来AM很高大上，其实它的基本思
线性注意力机制
最新发布
qq_45889056的博客
03-31 1331
特性Linformer核心方法特征映射 + 结合律优化低秩投影压缩KKK和VVV复杂度ONO(N)ON（严格线性）ON⋅kON⋅k（近似线性）是否保留 Softmax❌ 替换为线性近似✅ 保留原始 Softmax是否需要投影矩阵❌ 无额外参数✅ 需学习EKEVE_K, E_VEK​EV​适用场景通用序列任务（生成、分类）超长序列（文档、图像）近似误差较高（依赖特征映射的合理性）较低（低秩假设成立时）开源实现GitHub。
[LLM] 自然语言处理 --- 1.Attention
摩登都市天空---专栏
09-28 2594
目录 Attention简介 Encoder-Decoder框架 Attention模型 Attention 的优点 Attention 不同类型 1. 计算区域 2. 所用信息 3. 结构层次 4. 模型方面 5. 相似度计算方式 Attention详细介绍 Soft Attention 模型 图解Attention机制 第一步：准备隐藏状态 第二步：获取每个编...
Attention大详解（Attention is all you need）
Miracle8070
02-20 1万+
1. 写在前面 今天分享的论文是2017年谷歌团队发表的一篇论文，这是一篇非常经典的自然语言处理领域的文章，基于这篇文章，才有了最近非常火的bert， Albert等模型，接触这篇文章是在一次直播中看到的，因为经典，所以就想着读了读（虽然不是搞nlp的，但总感觉知识这东西都有一定的通性，多学一些肯定没有坏处，万一以后要用到呢？）。但是这篇论文本身我读了一遍之后，感觉不太懂，感觉里面有些东西并不是说...
自然语言处理中张量积注意力机制的应用与优化
01-16
适合人群：从事自然语言处理相关领域的研究人员以及希望深入理解或应用新型注意机制以提升深度学习项目的开发者。 使用场景及目标：旨在为处理较长文本序列提供一种高效、占用资源较少的方法论支持，特别适合于需要...
自然语言处理面试题及其答案
03-28
自然语言处理是一个充满活力的研究领域，涉及众多关键技术，如词嵌入、循环神经网络、BERT、注意力机制等。这些技术不仅推动了NLP的发展，也在实际应用中发挥了重要作用，比如在文本分类、情感分析等方面。通过对...
自然语言处理中的Attention Model：是什么以及为什么[二]
茅坤宝骏氹的博客
10-22 393
转载自  自然语言处理中的Attention Model：是什么以及为什么[二] 自然语言处理中的Attention Model：是什么以及为什么[二] 1、Attention Model 图一见下： 图1中展示的Encoder-Decoder模型是没有体现出“注意力模型”的，所以可以把它看作是注意力不集中的分心模型。 为什么说它注意力不集中呢？请观察下目标句子Y中每个单词的生成过程...
自然语言处理之Attention大详解（Attention is all you need）
周红伟讲AI
07-29 2043
1. 写在前面 今天分享的论文是2017年谷歌团队发表的一篇论文，这是一篇非常经典的自然语言处理领域的文章，基于这篇文章，才有了最近非常火的bert， Albert等模型，接触这篇文章是在一次直播中看到的，因为经典，所以就想着读了读（虽然不是搞nlp的，但总感觉知识这东西都有一定的通性，多学一些肯定没有坏处，万一以后要用到呢？）。但是这篇论文本身我读了一遍之后，感觉不太懂，感觉里面有些东西并不是说的很清楚，具体流程更是别提了。可能我预备知识也不足，于是就查资料，然后结合直播中讲的理解了一下，仍然可能有不到位
【自然语言处理】BiLSTM+Attention_TensorFlow—数据集.zip
12-31
【自然语言处理】文本分类模型_BiLSTM+Attention_TensorFlow实现，是该博客https://blog.youkuaiyun.com/bqw18744018044/article/details/89334729的数据集，可能有点错误，请谨慎使用
自然语言处理从零到入门 Attention 机制
UK - UofL HW - SDE
11-08 1476
Attention 正在被越来越广泛的得到应用。尤其是 BERT 火爆了之后。Attention 到底有什么特别之处？他的原理和本质是什么？Attention都有哪些类型？本文将详细讲解Attention的方方面面。
自然语言处理中的Attention机制总结
热门推荐
CODE and POEM
08-22 10万+
       在面试的过程中被问到了attention，原来虽然其实已经实际用过attention了，也知道个大概原理是加权求和，但是对于加权的具体方法以及权值得分的计算并不是很清晰，面试答的一般，正好最近实习的地方
attention机制_自然语言处理中的Attention机制简述（一）
weixin_39986027的博客
11-27 558
Attention机制(注意力机制)是自然语言处理近几年发展中的一个里程碑式的技术，目前已经成为了各种模型的标配，而后来大火的Transformer更是将Attention发挥到了极致。本系列我将给大家简单介绍下Attention机制的原理以及几个著名变种。本文作为本系列的第一篇，将主要介绍Attention的基本知识。*本文部分内容和图片参考了一些已有的博文，文末将附上链接。什么是At...
（转）自然语言处理中的Attention Model：是什么及为什么
happycxz的博客
08-03 1012
原文链接：http://blog.youkuaiyun.com/malefactor/article/details/50550211要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一，在很多场景被证明有效。听起来AM很高大上，其实它的基本思想是相当直观简洁的。本文作者可以对灯发誓：
Attention机制--concat方式
loki2018的博客
06-22 2578
本文主要参考github：https://github.com/bentrevett/pytorch-seq2seq/blob/master/3%20-%20Neural%20Machine%20Translation%20by%20Jointly%20Learning%20to%20Align%20and%20Translate.ipynb
Attention机制
weixin_43913077的博客
12-04 861
文章目录Attention机制的发家史Attention机制的理解引入attentionSeq2seq模型Encoder-Decoder在Decoder中引入Attentionseq2seq中的attention机制Attention的通用定义Attention的计算变体针对attention向量计算方式变体Soft attention、global attention、动态attentionHard attentionlocal attention （半软半硬attention）静态attention针对
【无聊问题之】token和attention score的对应关系
YHKKun的博客
04-19 937
即每个token都会有4个注意力分数，分别对应于其他4个token。这样，每个token都会根据这些注意力分数来加权其他token的值向量（Value），从而得到该token的上下文表示。这些分数用于加权求和所有token的值向量，从而得到当前token的上下文表示。这是Transformer模型中Self-Attention机制的核心部分。如果输入共有5个token，那么对于任意一个token来说，它会有与其他4个token相对应的4个注意力分数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值