Global Attention和Local Attention

最新推荐文章于 2025-09-17 00:06:37 发布
翻译 最新推荐文章于 2025-09-17 00:06:37 发布 · 1.3k 阅读 · 3

本文探讨了Bahdanau等人在2015年提出的注意力机制在神经机器翻译任务中的应用，主要分为全局（Global）和局部（Local）两种方法。全局注意力允许源语句所有单词参与翻译，而局部注意力则只关注源语句的部分内容，降低了计算复杂度。实验表明，基于注意力机制的模型在处理名字和长语句翻译时优于非注意力模型，其中局部注意力方法（如单调和预测对齐）表现良好。输入馈送方法增强了模型的能力，允许更深层次的网络训练。集成多个模型后，性能进一步提升。

1 简介

本文根据2015年《Effective Approaches to Attention-based Neural Machine Translation》翻译总结。

对于翻译任务，第一次引入注意力机制的是[Bahdanau et al.2015]《Neural machine translation by jointly learning to align and translate》，本文是第二篇。

本文提出了两种注意力机制，global和local。翻译任务是将源语句翻译成目标语句，其中Global方法是源语句的所有单词参与注意力，而local只是源语句的一部分参与。Local方法可以看作是hard和soft注意力机制的混合，local方法比global方法、soft注意力计算量小，local方法比hard方法易实施、训练。

基于注意力机制的模型优于非注意力机制的模型，比如在翻译名字、长语句上。

2 Neural Machine Translation

在这里插入图片描述

在这里插入图片描述

本文使用堆叠的LSTM架构，进行NMT。训练目标函数如下：
在这里插入图片描述

其中D是我们并行训练语料库。

3 Attention-based Models

在这里插入图片描述

4 Global attention

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5 Local Attention

在这里插入图片描述

在这里插入图片描述

下面考虑两种local方法：
Monotonic alignment (local-m)：单调对齐，公式如下（上面的公式7）：

在这里插入图片描述

Predictive alignment (local-p)：非单调对齐，公式如下：
在这里插入图片描述

6 Input-feeding Approach

在这里插入图片描述

在这里插入图片描述

这样（1）使模型可以知道前面的alighment 选择；（2）可以建立一个非常深的网络，无论深度还是宽度。

7 实验结果

我们模型取得了很好的效果，尤其集成（ensemnble）后吧，如下：
在这里插入图片描述

可以看到local-p效果不错。

在这里插入图片描述

零基础学nlp【4】 global attention 和 local attention（Effective approaches to attention-based neural mt）
rory0114的博客
03-11 1583
零基础学nlp【4】 global attention 和 local attention 论文：Luong M T, Pham H, Manning C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv:1508.04025, 2015. 主要内容 基于...
局部-全局注意力（Local-Global Attention）
百态老人的博客
02-22 1707
它通过分阶段处理局部细节和全局上下文，显著降低了传统注意力机制（如Transformer）的复杂度，适用于基因组、自然语言、时序分析等超长序列场景。在基因组中，局部窗口可聚焦于外显子或调控元件（如CTCF结合位点），捕捉密码子偏好性或剪切信号。局部窗口的表示作为Query，全局关键点的表示作为Key/Value，生成融合特征。将序列分割为固定长度（如256个token）的局部窗口，每个窗口独立计算注意力。将局部注意力输出与融合后的全局特征相加，保留多尺度信息。（捕捉上下文），分阶段融合信息，实现复杂度从。
独家原创 | CEEMDAN-CNN-GRU-GlobalAttention + XGBoost组合预测研究（Python代码实现）
最新发布
weixin_46039719的博客
09-17 753
本文提出了一种基于CEEMDAN（完备集合经验模态分解）、CNN（卷积神经网络）、GRU（门控循环单元）与GlobalAttention（全局注意力机制）以及XGBoost（极端梯度提升）的组合预测模型。该模型旨在通过分解复杂时间序列数据，利用深度学习模型捕捉序列中的复杂特征，并结合机器学习模型进行精准预测。实验结果表明，该组合模型在多个数据集上均表现出优异的预测性能。本文使用了电力变压器数据集和风速数据集进行实验验证。这些数据集包含多个特征变量，能够充分反映时间序列数据的复杂性和非线性特点。
CNN-with-Dual-Local-and-Global-Attention:具有局部和全局双重关注的可评审卷积神经网络用于评价等级预测
05-15
CNN具有双重本地和全球关注 这是提出的的的实现。 完全归功于原始作者。 这仅用于个人项目。 入门 此实现已在UNIX系统上经过测试，请安装入门
Attention的两种机制——global attention/local attention
J~的博客
12-18 9274
目录 1Global Attention全局注意力机制 权重计算函数 Local Attention References： 1Global Attention全局注意力机制 权重计算函数 眼尖的同学肯定发现这个attention机制比较核心的地方就是如何对Query和key计算注意力权重。下面简单总结几个常用的方法： 1、多层感知机方法 主要...
注意力机制 Attention模型 global attention 和 local attention
ChihkAnchor的博客
12-14 8353
Attention model 可以应用在图像领域也可以应用在自然语言识别领域 本文讨论的Attention模型是应用在自然语言领域的Attention模型，本文以神经网络机器翻译为研究点讨论注意力机制，参考文献《Effective Approaches to Attention-based Neural Machine Translation》 这篇文章提出了两种Attention模型分类：...
【论文笔记】Attention总结二：Attention本质思想 + Hard/Soft/Global/Local形式Attention
changreal的博客
10-12 4094
Attention总结二： 涉及论文： Show, Attend and Tell: Neural Image Caption Generation with Visual Attentio（用了hard\soft attention attention） Effective Approaches to Attention-based Neural Machine Translation（提出...
Focal Self-attention for Local-Global Interactions inVision Transformers
shaomjc的博客
09-17 818
本文提出了 focal self-attention，这是一种结合了细粒度局部交互和粗粒度全局交互的新机制。在这个新的机制中，每个 token 以细粒度关注其最近的周围 token，以粗粒度关注其远的周围 token，从而可以有效地捕获短期和长期的可视依赖关系。基于焦点自注意，提出了 focal Transformer，在一系列公共图像分类和目标检测基准上实现了优于先进的 (SoTA) ViT 的性能。
详解注意力机制（Attention）——Global/Local/Self Attention
热门推荐
Little Garden
10-25 3万+
详解注意力（Attention）机制 ​ 注意力机制在使用encoder-decoder结构进行神经机器翻译（NMT）的过程中被提出来，并且迅速的被应用到相似的任务上，比如根据图片生成一段描述性语句、梗概一段文字的内容。从一个高的层次看，允许decoder从多个上下文向量（context vector）中选取需要的部分，使得Encoder只能将上下文信息压缩到固定长度的向量中这个束缚中解放出来，进...
Focal Self-attention for Local-Global Interactions in Vision Transformers
like_jmo的博客
11-28 1321
最近，Vision Transformer 及其变体在各种计算机视觉任务中表现出了巨大的潜力，但由于二次方计算开销，它也带来了挑战，特别是对于高分辨率视觉任务（例如，对象检测）。最近的许多工作都试图通过应用粗粒度的全局注意力或细粒度的局部注意力来降低计算和内存成本并提高性能。然而，这两种方法都削弱了多层 Transformer 原始自注意力机制的建模能力，从而导致次优解决方案。在本文中，我们提出了 focal self-attention，这是一种结合了细粒度局部交互和粗粒度全局交互的新机制。
Attention机制论文阅读——global attention和local attention
nbawj的博客
06-03 1万+
论文名字：Effective Approaches to Attention-based Neural Machine Translation这篇文章提出了两种attention机制：全局attention机制和局部attention机制（区别在于关注的是所有encoder状态还是部分encoder状态）文章中计算context向量的过程：通过两种attention机制得到上下文向量：Global...
Construction of panoramic mosaics with global and local alignment 教材
12-02
Construction of panoramic mosaics with global and local alignment 教材
一文读懂——全局注意力机制（global attention）详解与代码实现
08-17
Gobal Attention的目的：是为了在生成上下文向量（也可以认为是句向量）时将所有的hidden state都考虑进去。Attention机制认为每个单词在一句话中的重要程度是不一样的，通过学习得到一句话中每个单词的权重。即为关注重要特征，忽略无关特征。 本代码采样keras2.2.4\tensorflow1.12进行实现的。
local-attention:语言建模的局部窗口注意的实现
05-14
当地关注 局部窗口注意的实现，这为语言建模设置了难以置信的强大基准。 显而易见的是，变压器需要底层的本地关注，而顶层则保留给全球关注，以整合先前各层的发现。 该存储库使立即使用本地窗口注意力变得容易。 该代码已经在多个存储库中经过了实战测试，此外还进行了稀疏远程关注的不同实现。 安装 $ pip install local-attention 用法 import torch from local_attention import LocalAttention q = torch . randn ( 8 , 2048 , 64 ) k = torch . randn ( 8 , 2048 , 64 ) v = torch . randn ( 8 , 2048 , 64 ) attn = LocalAttention ( dim = 64 , # di
Global Attention / Local Attention解析
liguochao1001的博客
09-14 1158
文章我写在了知乎上，知乎链接https://zhuanlan.zhihu.com/p/80692530
NLP中的全局注意力机制（Global Attention）
红雨瓢泼的博客
06-21 7982
最近在看一些Event Extraction和Event Detection的论文，看到其中有些论文会用到Attention机制，在阅读Attention相关论文的时候，对于论文中的一些符号表示，钻了一些牛角尖，所幸最后还是理解了 关于Attention机制的论文：Effective Approaches to Attention-based Neural Machine Translation ...
论文解读——神经网络翻译中的注意力机制 以及 global / local attention
zhr1030635594的博客
05-18 1930
论文Effective Approaches to Attention-based Neural Machine Translation 这篇论文主要介绍了神经网络翻译中的attention机制的集中改进方式，包括global / localattention以及 input-feeding机制，最后通过实验进行比较 本篇博文还将拓展神经网络翻译、注意力机制、soft / hard attention等内容 目录 论文Effective Approaches to Attention-base...
【论文简述】GMA3D: Local-Global Attention Learning to Estimate Occluded Motions of Scene Flow（arxiv 2022）
qq_43307074的博客
03-24 366
【论文简述】GMA3D: Local-Global Attention Learning to Estimate Occluded Motions of Scene Flow（arxiv 2022）
Multi-Modal Transformer with Global-Local Alignment for Composed Query Image Retrieval——论文
weixin_45154287的博客
10-05 309
1. 目的：composed query image retrieval2. 目前存在的问题：the architecture discrepancy in feature encoders would restrict the vision-language plenitudinous interaction（特征编码器结构的差异性会限制视觉-语言纵向交互）1. 主要挑战：2. 本文方法：组成：the vision Transformer, the language Transformer, and th
focal self-attention for local-global interactions in vision transformers
03-16
Focal Self-Attention for Local-Global Interactions in Vision Transformers是指在视觉转换器中使用聚焦自我注意力机制来实现局部和全局交互的技术。这种技术可以帮助模型更好地理解图像中的局部和全局信息，从而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值