论文笔记(Attention 2)-----Effective Approaches to Attention-based Neural Machine Translation

最新推荐文章于 2021-03-10 23:49:36 发布
最新推荐文章于 2021-03-10 23:49:36 发布
阅读量3.8k 收藏 9
点赞数 2
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hx14301009/article/details/80462092
本文介绍了Luong等人提出的全局和局部注意力机制，以改进神经机器翻译。全局注意力考虑整个源句，而局部注意力则在特定窗口内计算。全局注意力通过比较目标和源的隐藏状态计算对齐概率，局部注意力则预测对齐位置并应用高斯分布权重。此外，输入反馈被用于结合先前的注意力隐藏状态，优化对齐决策过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一篇attention介绍了Bahdanau等人提出的一种soft-attention模型。  Luong等人在此基础上提出了两种简单且有效的方式：全局(global)和局部(local)的方式。所谓的global，就是指每次都关注整个source sentence，而local则是在每个时间t，只关注一部分source sentence。

Luong等人提出的global类似于Bahdanau等人的soft-attention方式，但是比他们会简单一些；local的方式可以看成是hard-attention与soft-attention的一种平衡，计算代价比soft-attention小，并且相较于hard-attention，它可微且便于训练。

先来一波Decoder示意图：


首先，Encoder部分其实是大同小异的，通过RNN获得各个时间t的hidden state 

(以下用下标i表示对应目标语言的第i个词，j表示源语言的第j个词)

文中定义decoder端生成最终目标词yi的概率为：


这里作者引入了一个attention hidden state 

最低0.47元/天 解锁文章

200万优质内容无限畅学
hx14301009
关注
Effective Approaches to Attention-based Neural Machine Translation
Young, Simple, Naive
01-15 413
global attention & local attention
【论文笔记】Effective Approaches to Attention-based Neural Machine Translation
gjh1716718326的博客
10-31 467
这篇文章发布2015年，关于Attention的应用。 现在看来可能价值没那么大了，但是由于没读过还是要读一遍。 简介 Introduce In parallel, the concept of “attention” has gained popularity recently in training neural networks, allowing models to learn alignments between different modalities, e.g., between image
Effective Approaches to Attention-based Neural Machine Translation【论文笔记】
Chevalier的博客
11-21 609
一、摘要   attention机制通过在翻译过程中选择性地专注于部分原句来提高神经机器翻译（Neural Machine Translation，NMT）的性能。然而，目前很少有用的基于attention的NMT架构。本篇论文介绍了两种简单有效的attention机制。全局attention关注原句的所有单词，局部attention关注原句的一部分单词。 二、介绍   NMT通常是一个大型的神经...
[EMNLP2015]Effective Approaches to Attention-based Neural Machine Translation
Deep Learning and NLP Farm
08-16 3085
neural machine translation有以下优点： (1) 有能力生成很长的词序列 (2) 因为不需要存储巨大的短语词表，所以需要很小的内存 (3) 解码很容易 A： 介绍了两种attention模型，其共同点是在每一步decoding时hidden state ht_t都作为输入参与计算ct_t (1)global attention 在生成target word yt_
Effective Approaches to Attention-based Neural Machine Translation_2015_Luong 【NMT】【Attention】
R
07-10 256
文章目录提出背景神经机器翻译NMT模型Global AttentionLocal attention 论文链接：Effective Approaches to Attention-based Neural Machine Translation By Luong et al. 2015 任务对齐（alignments between different modalities）：对齐是指比如在翻译任务中，翻译每个词的时候，要找多需要重点关注的原句中的词，也就是将原文中的词和目标文中的词对应起来。 对齐权
注意力机制Effective Approaches to Attention-based Neural Machine Translation
DAICONG’s Blog
03-10 242
Effective Approaches to Attention-based Neural Machine Translation nlp三大顶会：ACL、EMCNLP、NACL 学起于思，思起于疑 合抱之木，生于毫末，九层之台，起于垒土，千里之行，始于足下 NMT 神经机器翻译neural Machine transtation eos sos bos end、star of sentence 端到端模型：撒见和训练都非常的简单 符合人类的翻译直觉，即阅读源的一句话，-明白意思–翻译成目标的一句话 s
Effective Approaches to Attention-based Neural Machine Translation之每日一篇
gentelyang的博客
06-29 492
论文地址：http://www.cs.cmu.edu/~ark/EMNLP-2015/proceedings/EMNLP/pdf/EMNLP166.pdf概述：本文针对NMT任务是用attention机制提出两种结构，global attention将attention作用于全部输入序列，local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft at...
approaches to translation studies
07-20
翻译研究的入门教材，适合本科生研究生和翻译爱好者。原版书籍，观点新颖，实用性强。
Effective Approaches to Attention-based Neural Machine Translation论文笔记
geter_CS的博客
04-22 573
这篇文章在NMT(Neural machine translation)上尝试了两种简单且有效的注意力机制：一个可以注意所有单词的全局方法（global approach），和一个只看部分单词的局部方法（local approach). 1.全局方法类似(Bahdanau et al.2015)，但是结构更简单， 2.局部方法可以看为是hard和soft注意力机制(Xu et al.,2015)的...
Effective Approaches to Attention-based Neural Machine Translation 学习笔记
Doron15的博客
08-18 1789
Effective Approaches to Attention-based Neural Machine Translation 学习笔记 本文是阅读 Effective Approaches to Attention-based Neural Machine Translation 之后的学习总结，如有不妥之处，烦请各位斧正。 Effective Approaches to Atte...
《Effective Approaches to Attention-based Neural Machine Translation》—— 基于注意力机制的有效神经机器翻译方法
然后就去远行
10-24 2184
《Effective Approaches to Attention-based Neural Machine Translation》 基于注意力机制的有效神经机器翻译方法； 作者：Minh-Thang Luong（第一作者）； 单位：Stanford University； 会议：EMNLP 2015；（NLP三大顶会：ACL、EMNLP、NAACL） 论文总览 Abstract：基于注意力机制的神经机器翻译模型是一种有效的方法，但是目前关于注意力机制模型结构的文章还比较少，本文提出了两种简单但是
Neural Machine translation中的Attention机制
老哥的专栏
10-13 2117
随着深度学习的发展，NMT(Neural machine translation)已经逐渐取代了SMT（statistic MT）。其最大的有点就是系统的整体和简单，少去了统计机器翻译中的分词，对齐。抽短语等繁琐的步骤。而NMT的大致流程和思想可以去参考下面的链接，讲的很详细。 https://devblogs.nvidia.com/parallelforall/introduction-neur
《Attention-via-Attention Neural Machine Translation》
wwx123521的博客
03-21 379
背景：由于许多语言源于共同的祖先语言并且相互影响，因此这些语言之间不可避免地存在相似性，例如词汇相似性和命名实体相似性。 思路：引入了一种注意力通过注意机制，它允许源侧角色的信息直接流向目标侧。 利用这种机制，当单词相似时，将基于源端字母的表示生成目标端字母。从而避免了字典的使用。 思路：首先字母级别的encoder处理源语句中的字母，根据语句中的空格，使用单词级别encoder处理源语句中的...
Attention机制原理总结和应用(一)
hei653779919的博客
12-11 1976
Attention机制原理总结和应用(一) 1、attention机制的概述和常用attention类型 注意力机制(attention)是借鉴于人类的视觉选择性的一种机制。这种机制通过对于全局的扫描，将人类的注意力着重分配在重点的区域。在计算机科学中，这种机制通过权重分配的方式进行实现。对于attention机制，常见的类型包括以下几种 1. soft-attention机制 3. globa...
各类注意力机制的介绍 (Intra & Inter & Soft & Hard & Global & Local Attention)
夏树让的博客
09-06 7604
注意力机制（Attention Mechanisms），intra-attention 与 inter-attention，soft-attention 与 hard-attention，global-attention 与 local attention.
注意力机制 Attention模型 global attention 和 local attention
ChihkAnchor的博客
12-14 8213
Attention model 可以应用在图像领域也可以应用在自然语言识别领域 本文讨论的Attention模型是应用在自然语言领域的Attention模型，本文以神经网络机器翻译为研究点讨论注意力机制，参考文献《Effective Approaches to Attention-based Neural Machine Translation》 这篇文章提出了两种Attention模型分类：...
Patch-based Attention是什么
最新发布
02-28
In deep learning, particularly within the context of vision transformers (ViTs), patch-based attention refers to an approach where input images are divided into smaller patches rather than being ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值