attention简单总结(初版)

最新推荐文章于 2025-07-29 14:29:12 发布
原创 最新推荐文章于 2025-07-29 14:29:12 发布 · 646 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #算法

本文概述了注意力机制的基本概念，包括其在深度学习中的作用，以及Encoder-Decoder框架的应用。重点介绍了Self-attention、HardAttention和LocalAttention的不同类型，以及它们在文本处理中的运用。文章还讨论了注意力机制的层次结构和与自注意力机制的区别，适合初学者理解注意力机制的核心原理。

引言

  • 本文将总结归纳个人搜集关于注意力机制的一些简单通俗理解，在失业期间作为个人充电的起始，本文不包含众多注意力机制以及其组合的变体，只为方便理解后续的一些算法做铺垫。
  • 本文首先介绍注意力机制的通俗理解和背景
  • 然后介绍目前注意力机制的主要使用场景
  • 介绍注意力机制的结构原理和数学原理
  • 介绍attention根据不同的划分条件分类介绍类别
  • 注意力机制和自注意力机制的区别

注意力机制通俗理解

  • 如上图chatgpt回答，通俗来讲注意力机制就是模仿生物将注意力集中到一部分事物而忽略另外的一些事物，比如下图的这张图片当我们第一眼看过去兔子大概率是关注的重点其次才是后面的景色。
  • 在深度学习领域，训练模型往往需要大量的数据但是在某特定的情境下只有少部分数据是极为重要的，此时就需要attention机制发光发热了。
  • 注意力机制产生的原因
    • 计算能力的限制，当要记住很多"历史信息"的时候模型就会变得越来越复杂，但是计算能力不一定能刚好满足
    • 优化算法的限制：LSTM只能在一定程度缓解RNN中的长距离依赖关系，且记忆能力并不高，个人理解是觉得记忆的不够精准有点碰运气的成分没有针对性。

Encoder-Decoder框架（编码器-解码器）

  • 目前大多数注意力模型是存在于Encoder-Decoder框架中的，但是注意力模型其实可以看作是一种通用的思想，其本身是不依赖于特定框架的，个人理解其更像是数学中的一条定理，我们拿着这个定理去解决数学问题。
    • 以下为文本处理领域常用的E-D框架

  • 对于上图公式的抽象理解 https://zhuanlan.zhihu.com/p/37601161

seq2seq（序列到序列）

  • 关于seq2seq模型此处做一个简单的介绍，方便后面举例（具体s2s模型会专门写文章总结）,seq2seq其实就是对上述的Encoder-Decoder框架的具体实现和应用
  • 参考2
  • RNN LSTM
  • 注1:其中不管是左边的编码器还是右边的解码器，所用模型可以是CNN/RNN/BiRNN/GRU/LSTM等根据自己场景需要选择（参考上面ED部分的最后一个图的说明）
  • 下图中红色文字为个人认为比较LSTM更好是因为在LSTM里遗忘门与下图的文字解释更搭配，RNN虽然先提出的隐状态的概念但是相对理解不够形象，酌情参考

attention结构

  • 脱离ED框架的attention结构和引入了注意力模型的ED框架

  • 实例说明(参考3)
  • attention机制的具体计算分为两大过程
    • 根据Query和Key计算权重系数）（又细分为两个部分）
      • 根据Query和Key计算两者的相似度或者相关性
      • 对上面阶段的原始分值进行归一化处理
    • 根据权重系数对Value进行加权求和
  • 关于第一阶段可以用不同的函数和计算机制来计算其相关性和相似性

  • 第二阶段

关于attention的变体类型划分(下图仅供参考)

计算区域分类
  • 1 Self-attention自注意力机制对所有key求权重概率，每个key都有一个对应的权重，是一种全局的计算方式（也可以叫Global Attention）。这种方式比较理性，参考了所有key的内容，再进行加权。但是计算量可能会比较大一些。
  • 2 Hard Attention，这种方式是直接精准定位到某个key，其余key就都不管了，相当于这个key的概率是1，其余key的概率全部是0。因此这种对齐方式要求很高，要求一步到位，如果没有正确对齐，会带来很大的影响。另一方面，因为不可导，一般需要用强化学习的方法进行训练。（或者使用gumbel-softmax之类的，解决某些情况下不可导的情况）
  • 3 Local Attention，这种方式其实是以上两种方式的一个折中，对一个窗口区域进行计算。先用Hard方式定位到某个地方，以这个点为中心可以得到一个窗口区域，在这个小区域内用Soft方式来算Attention。
所用信息分类
  • 关于信息，如果我们需要对一段原文计算attention，是包含外部信息和内部信息的，内部信息就是原文本身的信息，外部信息指的是除了原文以外的额外信息
  • 1 General Attention，这种方式利用到了外部信息，常用于需要构建两段文本关系的任务，query一般包含了额外信息，根据外部query对原文进行对齐。
    • 如：构建问题和文章的关联，将问题首先转化成一个向量并将其与文章的所有词向量拼接起来，输入到如LSTM中进行建模， 此时文章所有的词向量共享同一个问题向量(此时内部信息还是原文)，如果想要同一层级下文章词向量都有一个不同的问题向量，并计算词层级下词向量和问题的attention值，问题属于原文，文章词向量属于外部信息(个人对下面图片中作者例子的理解，仅供参考)
  • 2 Local Attention，这种方式只使用内部信息，key和value以及query只和输入原文有关，在self attention中，key=value=query。既然没有外部信息，那么在原文中的每个词可以跟该句子中的所有词进行Attention计算，相当于寻找原文内部的关系。
    • 同上面例子，就是对问题的词进行向量化，然后每个词与其他词计算attention，并不引入文章的信息，也可以单独用文章信息(同上的个人理解)
结构层次
  • 单层Attention，这是比较普遍的做法，用一个query对一段原文进行一次attention（上图中最简单的结构）
  • 多层Attention，一般用于文本具有层次关系的模型，假设我们把一个document划分成多个句子，在第一层，我们分别对每个句子使用attention计算出一个句向量（也就是单层attention）；在第二层，我们对所有句向量再做attention计算出一个文档向量（也是一个单层attention），最后再用这个文档向量去做任务(个人感觉可能gpt的回答)。
  • 多头attention
模型方面


task分析
  • 该部分为参考文章作者的心得体会，还有部分内容请看原文链接(已经快原文摘抄了…)

自注意力机制与注意力机制区别

其他参考文章

结尾

  • 由于个人对注意力机制只是去学习没有业务实践所以还是停留在表面，本文更像是个人学习途中对参考文章的拆分总结，所以仅供参考，有错误的地方欢迎指正
  • 代码部分由于组合比较多，个人决定今后有业务需要会上传相关实现代码，参考资料中部分是包含代码的，有需要的可以自行检验。
  • 祝自己找工作顺利！
一文读懂「Attention」注意力机制
女王の专属领地
01-08 1719
Attention（注意力）机制如果浅层的理解，核心逻辑就是**「从关注全部到关注重点」**。Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。视觉系统就是一种Attention机制，将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。销售在销售东西的时候，不同角色关注到的重点不一样。
计算机视觉竞赛技巧总结（三）：OCR篇
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 2万+
本篇主要介绍OCR竞赛技巧总结，主要从OCR概念、分类、模型方法、推荐框架、常用trick、评估指标等多个方面进行总结介绍，部分内容取自本人专栏《深入浅出OCR》系列，上述内容后续会继续更新，欢迎大家订阅学习交流，感谢批评指正！
Attention结构解析
Neo的战斗部
02-22 2495
一篇最重要的论文《Attention Is All You Need》中介绍了Transformer结构。 总共分为两个部分encode和decode，有三个小模块，attention，Feed Forward和decode部分的multi-head attention模块。 一.Attention input embedding 使用word2vec将tokens转换成词向量，如ELMO或S...
【转载】Attention Mechanism in Deep Learning
weixin_30916125的博客
03-31 1576
本篇随笔为转载，原文地址：知乎，深度学习中Attention Mechanism详细介绍：原理、分类及应用。参考链接：深度学习中的注意力机制。 Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机...
attention结构理解。
a_123456598的博客
09-19 738
attention结构理解。 一、概念 1.起源 2.定义。 注意力机制（Attention）没有特别严格的限制，只要是从画面大量信息中提取出有用的核心信息，就能算做是attention机制。 （比如传统的局部图像特征提取、滑动窗口等方法都可以看作是注意力机制。） 注意力机制通常是一个另外的一个神经网络，给输入的不同部分分配不同的权重。 3.意义 给重要的部分分配更大的权重，能够使模型的性价比更高。 4.种类 （1）空间维度：inception-v1（google-net）
Self -Attention、Multi-Head Attention、Cross-Attention
热门推荐
大鹏的专栏
11-24 6万+
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
“端智能“在搜索重排序的应用实践
AI天才研究院
07-04 1254
端智能重排序是大众点评搜索在边缘计算方向的一次探索实践，并且在核心指标上取得了较为显著的效果。通过利用端上计算的能力，更高效地捕捉用户的实时兴趣偏好，弥补云端服务决策延迟、用户反馈信息获取延迟等问题。及时调整未曝光候选结果的顺序，把更符合用户意图的商户排上来，从而带来更好的用户搜索触达体验。同时，我们对前后端训练、部署预估框架进行了升级，为后续进一步快速迭代实验奠定了良好的基础。基于联邦学习模式，进一步在保证数据隐私安全及合法合规的基础上，迭代端云联合的智能搜索排序模型。
量化价值投资总踩雷？加入社交媒体风险预警因子后，我的回撤降低了35%
AI天才研究院
07-29 5126
摘要： 量化价值投资常因依赖滞后财务数据而频繁"踩雷"，导致超额回撤。本文提出通过社交媒体风险预警因子提前识别企业风险信号，构建融合自然语言处理与机器学习的动态风控体系。实证显示，整合Twitter、Reddit等平台的投诉、质疑、爆料等五类风险信号后，策略最大回撤降低35%，夏普比率提升28%。该方案突破了传统财务指标的时空局限，实现了从被动止损到主动预警的范式转换，为量化投资提供了全新的风险边界管理工具。
transformer 总结(超详细-初版)
Lian_Ge_Blog的博客
09-09 923
本文主要介绍个人学习 transformer 的一些总结和个人理解，可能理解的是比较表面的或者有错误的地方欢迎指正，仅供参考。
7.Deep Interest Network for Click-Through Rate Prediction论文详解
zhaozhiwei314的博客
02-21 1471
一、总述 这是2018年阿里Guorui Zhou等人发表在KDD上的一篇论文。论文提出在CTR任务中，丰富的用户历史行为数据包含了用户多种兴趣，对于不同的候选广告，起作用的用户历史行为数据表示应该不同。所以该论文提出了深度兴趣网络（Deep Interest Network， DIN）来根据指定广告，自适应的建模用户行为数据，进而提升CTR准确率。此外，针对工业界亿万级别的参数量，提出了两项训练深度学习模型的新技术：小批量感知正则（mini-batch aware regularization）和数据自适
Attention注意力机制：理论基础、核心架构、应用领域及最新研究动态
JINGWHALE
06-08 1960
Attention机制源于对序列建模中长期依赖关系的有效捕获需求，其理论基础在于让模型动态分配权重以聚焦于输入序列中与当前任务相关的关键部分。核心架构包括Query-Key-Value三元组计算、Softmax归一化的注意力得分、加权求和生成上下文向量，以及扩展至多头注意力以并行捕获不同子空间特征。广泛应用在机器翻译、文本摘要、问答系统、语音识别、推荐系统等，显著提升模型性能。
一文搞定attntion机制在CNN中的应用，手把手教你在Yolov5中插入attention. Attention结构的创新方法
weeks
06-05 4916
*免责声明: 1\此方法仅提供参考 2\搬了其他博主的操作方法,以贴上路径. 3* 场景一:什么是Attention 场景二: 场景三: 场景四: … 场景一:什么是Attention 更多attention细节—>神经网络与深度学习理论教程二,tensorflow2.0教程,rnn 一文看懂 Attention（本质原理+3大优点+5大类型） attention机制是什么? 自己的博客推荐,解释 一下 attention是什么 attention在 cnn上的作用 Attention in C
Attention 机制
weixin_NineDays66
10-29 2008
SENet 详解 https://blog.youkuaiyun.com/xjz18298268521/article/details/79078551 图解 1.基础网络结构 2.各阶段计算方式公式 3.结构图： 简介 为了更清楚地介绍计算机视觉中的注意力机制，这篇文章将从注意力域（attention domain）的角度来分析几种注意力的实现方法。其中主要是...
一文看懂 Attention（本质原理+3大优点+5大类型）
sjyttkl的专栏
02-13 2558
Attention 正在被越来越广泛的得到应用。尤其是 BERT 火爆了之后。 Attention 到底有什么特别之处？他的原理和本质是什么？Attention都有哪些类型？本文将详细讲解Attention的方方面面。 Attention 的本质是什么 Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点」。 Attention...
对比Attention的几种结构
yujianmin1990的专栏
08-18 5520
前言 之前看到几篇关于attention思想的应用文章，现在对比下其中的Attention具体结构上的区别。 NMT by Jointly Learning to Align and Translate Effective Approaches to Attention-based NMT Show, Attention and Tell: Neural Image Caption Gen...
深度学习之自然语言处理（Attention）
weixin_55922470的博客
05-24 553
这里我们所做的改进只是将编码器的全部时刻的隐藏状态取出来而已。通过这个小改动，编码器可以根据输入语句的长度，成比例地编码信息。可以像我们人类一样，将“注意力”集中在必要的信息上。编码器的输出的长度应该根据输入文本的长度相应地改变。中，仅将编码器最后的隐藏状态向量传递给了解码器。1.1 seq2seq存在问题。个单词，此时编码器输出 5。的反向传播是 Repeat。这里重述一下要点：“
ATTENTION机制的总结
axioazu的博客
10-26 439
转载请注明出处使用attention机制的原因在于输入序列携带的信息并不是同等重要的，就像人观察一幅图画的时候注意力其实是集中在几个区域，而其余的地方则会忽略，attention就是模拟这个过程。图1 基于RNN结构的attention机制以在RNN中加入attention机制为例，如上图所示。假设要实现对“机器学习”的翻译，attention机制的做法是给“机器学习”四个字分别进行加权后求和，以更多的保留较为关注的文字的信息。
19种常见attention-大全
晓的博客
02-12 1054
为每个位置 i 定义一个局部窗口 W_i，
NLP中遇到的各类Attention结构汇总以及代码复现
BoCong-Deng的博客
12-26 3101
我们所熟知的encoder和decoder结构中，通常采用RNN结构如GRU或LSTM等，在encoder RNN中将输入语句信息总结到最后一个hidden vector中，并将其作为decoder的初始hidden vector，从而利用decoder的解码成对应的其他语言中的文字。但是这样的结构会出现一些问题，比如老生常谈的长程梯度消失的问题，对于较长的句子很难寄希望于将输入的序列转化为定长的向量而保存所有的有效的信息，所以随着输入序列的长度增加，这种结构的效果就会显著下降。因此这个时候就是Attent
route attention 总结
最新发布
08-20
### 深度学习中的 Route Attention 技术总结 在深度学习领域，注意力机制（Attention Mechanism）已经成为处理序列数据的重要技术，尤其在自然语言处理（NLP）、计算机视觉（CV）和强化学习（RL）中得到了广泛应用。"Route Attention" 这一术语通常用于描述在路径选择、路由规划等任务中使用注意力机制的模型架构。这类技术的核心思想是通过动态地关注输入序列中的关键部分，以提高模型对路径选择任务的理解和决策能力。 #### 核心概念 Route Attention 的核心在于其对路径信息的建模方式。不同于传统的固定权重分配方法，注意力机制允许模型在处理每一步决策时，根据当前状态动态地关注输入序列中的某些部分。例如，在解决旅行商问题（TSP）或车辆路径问题（VRP）时，模型可以通过注意力机制选择下一个要访问的城市[^1]。 #### 技术实现 在技术实现上，Route Attention 通常结合了编码器-解码器（Encoder-Decoder）结构，并在解码阶段引入注意力机制。编码器负责将输入序列（如城市坐标）编码为高维特征表示，而解码器则通过注意力机制逐步生成路径。 一种常见的实现方式是使用 Transformer 架构中的自注意力机制（Self-Attention），该机制能够捕捉输入序列中不同位置之间的依赖关系。此外，还可以结合图神经网络（GNN）来处理路径问题中的图结构数据，进一步提升模型的表现力。 #### 应用场景 Route Attention 技术主要应用于以下几类场景： 1. **组合优化问题**：如旅行商问题（TSP）、车辆路径问题（VRP）及其变种，这些问题是 Route Attention 技术最早和最广泛的应用领域之一。 2. **交通预测与调度**：在智能交通系统中，Route Attention 可用于预测交通流量、优化路线规划，提升交通效率。 3. **物流与仓储管理**：在仓储补货、物流配送等任务中，Route Attention 可帮助构建高效的调度策略，优化资源分配[^2]。 4. **芯片布局设计**：Google DeepMind 在 AlphaLayout 中使用了类似的注意力机制来优化 TPU 的布局设计，通过关注关键单元之间的连接关系，提升芯片性能[^3]。 #### 优势与挑战 Route Attention 技术的优势在于其灵活性和可解释性。通过注意力权重，可以直观地看到模型在每一步决策中关注了哪些输入节点，从而增强模型的可解释性。此外，注意力机制还能够有效处理长序列问题，避免传统 RNN 结构中的梯度消失问题。 然而，Route Attention 也面临一些挑战。首先，模型的训练依赖于大量高质量的数据，尤其是在复杂路径规划任务中，数据获取成本较高。其次，当前的深度学习方法在实际应用中仍存在可扩展性问题，训练好的模型在面对新场景时可能表现不佳。 #### 示例代码 以下是一个简单的 Route Attention 模型实现，使用 PyTorch 框架： ```python import torch import torch.nn as nn import torch.nn.functional as F class RouteAttention(nn.Module): def __init__(self, input_dim, hidden_dim): super(RouteAttention, self).__init__() self.encoder = nn.LSTM(input_dim, hidden_dim, batch_first=True) self.decoder = nn.LSTM(hidden_dim, hidden_dim, batch_first=True) self.attention = nn.Linear(hidden_dim, hidden_dim) self.out = nn.Linear(hidden_dim, input_dim) def forward(self, x): # Encoder encoder_out, (h, c) = self.encoder(x) # Decoder with attention decoder_input = torch.zeros_like(x[:, 0, :]).unsqueeze(1) outputs = [] for _ in range(x.size(1)): query = self.attention(decoder_input) energy = torch.bmm(encoder_out, query.transpose(1, 2)).squeeze(2) attention_weights = F.softmax(energy, dim=1) context = torch.bmm(attention_weights.unsqueeze(1), encoder_out).squeeze(1) decoder_output, (h, c) = self.decoder(context.unsqueeze(1), (h, c)) output = self.out(decoder_output) outputs.append(output) decoder_input = output return torch.cat(outputs, dim=1) ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

矮人三等

秀儿，是你吗秀儿？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值