【nlp】2.8 注意力机制拓展

已于 2023-11-22 13:55:53 修改
阅读量750 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： NLP自然语言处理 文章标签： 自然语言处理 人工智能 注意力机制
于 2023-11-22 13:55:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lys_828/article/details/134409996
本文详细介绍了注意力机制在自然语言处理中的原理和应用，通过对比无注意力机制的模型，阐述了注意力机制如何提升模型性能。文章通过实例展示了注意力计算过程，并分析了有注意力机制的模型在处理长序列时的优势，强调了注意力模型在信息聚焦方面的关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

注意力机制拓展

1 注意力机制原理

1.1 注意力机制示意图

Attention机制的工作原理并不复杂，我们可以用下面这张图做一个总结

在这里插入图片描述

1.2 Attention计算过程

  • 阶段一: query 和 key 进行相似度计算，得到一个query 和 key 相关性的分值
  • 阶段二: 将这个分值进行归一化(softmax)，得到一个注意力的分布
  • 阶段三: 使用注意力分布和 value 进行计算，得到一个融合注意力的更好的 value 值

为了更好的说明上面的情况, 我们通过注意力来做一个机器翻译(NMT) 的任务，机器翻译中，我们会使用 seq2seq 的架构，每个时间步从词典里生成一个翻译的结果。就像下面这张图一样.
在这里插入图片描述
在没有注意力之前，我们每次都是根据 Encoder 部分的输出结果来进行生成，提出注意力后，就是想在生成翻译结果时并不是看 Encoder 中所有的输出结果，而是先来看看想生成的这部分和哪些单词可能关系会比较大，关系大

了解本专栏 订阅专栏 解锁全文 超级会员免费看
20、结合分层注意力网络与XGBoost识别论证有效性
melon的博客
06-21 8
本文提出了一种结合分层注意力网络（HAN）与XGBoost的新模型，用于识别论证的有效性。通过使用预训练的GloVe词向量进行数据预处理，并构建深度学习层进行特征提取，随后利用XGBoost分类器进行分类任务。实验结果表明，HAN与XGBoost的结合在论证有效性识别中表现优异，优于传统的浅层模型和深度学习方法。文章还分析了注意力机制的优势、小数据集上模型表现的特点，并展望了未来在论证挖掘领域的研究方向。
大规模语言模型的跨领域知识整合在科研突破中的应用
AI天才研究院
03-18 814
在当今科研领域，知识呈现出爆炸式增长且高度专业化、细分化的态势。不同领域的知识犹如一个个孤立的岛屿，缺乏有效的连接和整合。大规模语言模型（LLMs）的出现为打破这种知识壁垒提供了新的契机。本文章的目的在于深入探讨如何利用大规模语言模型进行跨领域知识整合，并分析其在科研突破中的具体应用。研究范围涵盖了多个科研领域，包括但不限于自然科学（如物理学、化学、生物学）、工程技术（如计算机科学、电子工程）、社会科学（如经济学、社会学）等。
可变形注意力（Deformable Attention）及其拓展
热门推荐
weixin_47748259的博客
02-23 2万+
右侧的可变形卷积因为感受野的每一个点都有偏移量，造成卷积核在图片上滑动时对应的感受野的点不会重复选择，这意味着会采样9 x 9=81个采样点，比传统卷积更多。对感受野上的每一个点加一个偏移量 ，偏移的大小是通过学习得到的 ，偏移后感受野不再是个正方形，而是和物体的实际形状相匹配。传统卷积核在卷积过程中由于会存在重叠，最终输出后的感受野范围小，而可变性卷积中因为有偏移，不会有重叠，从而感受野范围更大。可变形卷积将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。
【NLP相关】深入理解attention机制（产生、发展、原理、应用和代码实现）
WeLearnNLP
10-22 1万+
attention机制并不是一个新概念，在很久之前（90年代）就有学者提出，其最早产生并且应用在计算机视觉（CV）领域，之后在自然语言处理（NLP）领域快速发展，最近又在CV领域火了起来。attention机制在深度学习各个领域都被广泛使用，尤其是CV和NLP任务中经常会出现attention机制的身影。本文将从原理角度深入分析attention机制。
[LLM] 自然语言处理 --- 1.Attention
摩登都市天空---专栏
09-28 2642
目录 Attention简介 Encoder-Decoder框架 Attention模型 Attention 的优点 Attention 不同类型 1. 计算区域 2. 所用信息 3. 结构层次 4. 模型方面 5. 相似度计算方式 Attention详细介绍 Soft Attention 模型 图解Attention机制 第一步：准备隐藏状态 第二步：获取每个编...
NLP自然语言处理：深入探索Self-Attention——自注意力机制详解
shiming8879的博客
11-09 1453
这意味着，第 (i) 个元素的输出向量 (b_i) 是所有输入元素的值向量 (v_j) 通过对应的注意力权重 (\hat{\alpha}_{i,j}) 加权后得到的。通过softmax函数，每个 (\alpha_{i,j}) 被转换成 (\hat{\alpha}_{i,j})，表示第 (i) 个元素对第 (j) 个元素的相对关注权重。k)，和(W^v)）线性映射为查询向量（Query vector，(q)）、键向量（Key vector，(k)）和值向量（Value vector，(v)）。
NLP｜LSTM+Attention文本分类
机器学习、深度学习、文本分类、异常检测、风控等知识的积累和分享
01-10 2191
LSTM是一种特殊的循环神经网络（RNN），用于处理序列数据和时间序列数据的建模和预测。而在NLP和时间序列领域上Attention-注意力机制也早已有了大量应用，本文将介绍在LSTM基础上如何添加Attention来优化模型效果。
DeepSeek-VL2论文解读：用于高级多模态理解的专家混合视觉语言模型
samoyan的博客,记录技术成长~
02-06 2001
paper:大型视觉语言模型（VLMs）已经成为人工智能领域的变革性力量，将大型语言模型（LLMs）的卓越能力扩展到能够无缝处理视觉和文本信息。这一进步极大地拓展了人工智能系统在需要多模态理解的复杂现实应用中的潜力。在这份技术报告中，我们介绍了DeepSeek-VL2，这是一系列新的开源视觉语言模型，利用专家混合（MoE）架构，在性能和效率上相较其前身DeepSeek-VL取得了显著提升。我们的进步主要集中在三个关键方面：（1）动态的高分辨率视觉编码策略，增强了视觉理解能力；
DeepSeek系列核心技术与贡献总结
最新发布
WeLearnNLP
05-18 184
近年来，开源社区涌现出了一系列颇具影响力的大模型，DeepSeek系列便是其中的佼佼者。DeepSeek作为一家中国AI团队，连续发布了V1、V2、V3和R1等多个版本的开源模型，引入了多项创新技术，使得开源模型在性能上首次逼近甚至超越了一些封闭源的顶级模型。本文将深度解析DeepSeek模型的演进路径、核心技术点和其对开源生态的贡献，并分析当前面临的挑战与未来改进方向。
LLM大模型能力与企业业务系统集成技术方案
AI天才研究院
06-28 4424
1.1 LLM大模型能力背景及相关概念定义在人工智能领域，LLM（Language Model）是一种通过大量的文本数据进行学习，从而能够理解和生成人类语言的模型。它们的训练数据涵盖了广泛的主题，从新闻报道到小说、诗歌、剧本等。LLM能够对输入的文本进行分析和生成回复，可以在多个领域为用户提供智能化的服务。1.1.1 知识图谱知识图谱是一种描述实体及其关系的结构化数据。它将大量的信息以图形的方式组织起来，用于关联和检索知识。知识图谱有助于LLM理解和生成与之相关的信息。1.1.2 深度学习。
【NLP】第五章：注意力机制Attention
因为热爱所以坚持
12-12 1922
五、注意力机制Attention 在讲Transformer之前，我先把注意力机制Attention单独拿出来先讲一下。 一是因为attention是Transformer中非常关键的技术，也是transformer之所以区别其他模型的关键之处。但是transformer本身的架构就非常复杂了，到真正开讲transformer时才讲attention，transformer的篇幅就会又臭又长，所以这里我单独把attention先提出来讲。 二是因为attention从2016年被transformer
【NLP】 20. Attention 和 self-attention
weixin_48846514的博客
04-14 1137
Attention 和 self-attention
浅析NLP中的Attention技术
guofei_fly的博客
04-18 1331
【Reference】 遍地开花的 Attention ，你真的懂吗？ An Introductory Survey on Attention Mechanisms in NLP Problems
NLP中的Attention注意力机制+Transformer详解
深度学习技术前沿
05-28 2051
关注上方“深度学习技术前沿”，选择“星标公众号”，资源干货，第一时间送达！作者:JayLou娄杰知乎链接：https://zhuanlan.zhihu.com/p/53682800本文...
attention机制_自然语言处理中的Attention机制简述（一）
weixin_39986027的博客
11-27 571
Attention机制(注意力机制)是自然语言处理近几年发展中的一个里程碑式的技术，目前已经成为了各种模型的标配，而后来大火的Transformer更是将Attention发挥到了极致。本系列我将给大家简单介绍下Attention机制的原理以及几个著名变种。本文作为本系列的第一篇，将主要介绍Attention的基本知识。*本文部分内容和图片参考了一些已有的博文，文末将附上链接。什么是At...
NLP中的各种Attention机制
weikai_w的博客
01-07 2348
Attention机制是在Seq2Seq模型的基础上被提出来的，Seq2Seq通过encoder拿到（输入）文本信息的context向量（矩阵）。Attention机制让decoder部分更加关注与当前时刻相关性最高的item。因此，在回顾Attention机制之前，需要先回顾一下Seq2Seq（即Encoder-Decoder）模型。 Seq2Seq（Encoder-Decoder） 在此前的博...
NLP中的Attention总结
Fan9_的博客
06-16 1156
Attention是模拟人脑的注意力机制。人在看到一些东西，往往只关注重要的信息，而忽略其他信息。自然语言处理中的attention是对文本分配注意力权重，Attention的本质就是从关注全部变为关注重点。 1 Attention的原理 Attention的计算过程： query和key向量进行相似度计算，得到权重。 将得到的权值进行归一化，得到每个key的归一化权重。 根据权重，对value进行加权求和。 2 Attention的类型 如上图，按不同的方式，可将attention分为不同类型。
深度学习和自然语言处理中的attention和memory机制
zhong930的博客
01-12 5967
Attention机制是最近深度学习的一个趋势。在一次采访中，OpenAI的研究总监Ilya Sutskever说attention机制是最令人兴奋的进步之一，而且已经广为使用。听起来激动人心吧。但attention机制究竟是什么呢？神经网络里的attention机制是（非常）松散地基于人类的视觉注意机制。人类的视觉注意机制已经被充分地研究过了，而且提出了多个不同的模型，所有的模型归根结底都是按照...
神经网络中的注意力（Attention）机制
Glimmer
12-07 2221
近日看到不错的图解注意力机制的文章，保存一下。 https://mp.weixin.qq.com/s/Q0Ft5bWTuiZUIQSTk7X6ZQ https://mp.weixin.qq.com/s/Z0--eLLiFwfSuMvnddKGPQ
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lys_828

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值