论文学习笔记05（Effective Approaches to Attention-based Neural Machine Translation）

最新推荐文章于 2021-03-10 23:49:36 发布
原创 最新推荐文章于 2021-03-10 23:49:36 发布 · 345 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了两种注意力机制——全局注意力和局部注意力在神经机器翻译中的应用。全局注意力始终关注所有源词，而局部注意力只关注源词的子集，降低了计算成本。论文还介绍了输入反馈方法，通过将过去的对齐决策信息传递给模型，以改进翻译效果。此外，扩展部分讨论了软注意力和硬注意力的差异，软注意力是参数化的，可微分，而硬注意力是随机采样的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Effective Approaches to Attention-based Neural Machine Translation

Encoder-Decoder+注意力机制：
在这里插入图片描述

p(yi∣y1,...,yi−1,X)=g(yi−1,si,ci)p(y_i|y_1,...,y_{i-1},X)=g(y_{i-1},s_i,c_i)p(yi​∣y1​,...,yi−1​,X)=g(yi−1​,s

最低0.47元/天 解锁文章

200万优质内容无限畅学
Effective Approaches to Attention-based Neural Machine Translation
Young, Simple, Naive
01-15 413
global attention & local attention
【论文笔记】Effective Approaches to Attention-based Neural Machine Translation
gjh1716718326的博客
10-31 466
这篇文章发布2015年，关于Attention的应用。 现在看来可能价值没那么大了，但是由于没读过还是要读一遍。 简介 Introduce In parallel, the concept of “attention” has gained popularity recently in training neural networks, allowing models to learn alignments between different modalities, e.g., between image
[attention] 论文笔记-Effective Approaches to Attention-based Neural Machine Translation
weixin_42663919的博客
07-23 359
论文理论 文章：Effective Approaches to Attention-based Neural Machine Translation 链接：https://pan.baidu.com/s/1qZieu90lKPMwwj2BxoO2MA 提取码：6pv0 模型理解 本文提出的attention主要是基于翻译任务，模型框架使用encoder(embedding)-decoder(embedding)+attention，提出了两种attention:global attention 和l
Effective Approaches to Attention-based Neural Machine Translation论文笔记
geter_CS的博客
04-22 572
这篇文章在NMT(Neural machine translation)上尝试了两种简单且有效的注意力机制：一个可以注意所有单词的全局方法（global approach），和一个只看部分单词的局部方法（local approach). 1.全局方法类似(Bahdanau et al.2015)，但是结构更简单， 2.局部方法可以看为是hard和soft注意力机制(Xu et al.,2015)的...
Effective Approaches to Attention-based Neural Machine Translation【论文笔记】
Chevalier的博客
11-21 608
一、摘要   attention机制通过在翻译过程中选择性地专注于部分原句来提高神经机器翻译（Neural Machine Translation，NMT）的性能。然而，目前很少有用的基于attention的NMT架构。本篇论文介绍了两种简单有效的attention机制。全局attention关注原句的所有单词，局部attention关注原句的一部分单词。 二、介绍   NMT通常是一个大型的神经...
Effective Approaches to Attention-based Neural Machine Translation 学习笔记
Doron15的博客
08-18 1788
Effective Approaches to Attention-based Neural Machine Translation 学习笔记 本文是阅读 Effective Approaches to Attention-based Neural Machine Translation 之后的学习总结，如有不妥之处，烦请各位斧正。 Effective Approaches to Atte...
论文笔记(Attention 2)-----Effective Approaches to Attention-based Neural Machine Translation
hx14301009的博客
05-26 3834
上一篇attention介绍了Bahdanau等人提出的一种soft-attention模型。  Luong等人在此基础上提出了两种简单且有效的方式：全局(global)和局部(local)的方式。所谓的global，就是指每次都关注整个source sentence，而local则是在每个时间t，只关注一部分source sentence。Luong等人提出的global类似于Bahdanau等...
【论文笔记】Attention总结二：Attention本质思想 + Hard/Soft/Global/Local形式Attention
changreal的博客
10-12 3911
Attention总结二： 涉及论文： Show, Attend and Tell: Neural Image Caption Generation with Visual Attentio（用了hard\soft attention attention） Effective Approaches to Attention-based Neural Machine Translation（提出...
论文笔记：Effective approaches to attention-based neural machine translation
travalscx的博客
08-16 292
https://www.jianshu.com/p/1c24eba3ba9c 本论文就提出了两种简单但却有效的注意力机制，全局注意力（global）和局部注意力（local）。 本文提出的两种注意力机制（global & local）其本质区别在于，全局注意力会参考所有输入词，而局部注意力只会考虑部分输入词。 全局注意力 该注意力机制重点在于考虑所有输入的隐状态来生成语境向量。 局部注意...
LSTM-Attention模型：Effective Approaches to Attention-based Neural Machine Translation
ACM_hades的博客
02-13 821
参考链接 论文链接：https://arxiv.org/pdf/1508.04025v5.pdf 项目链接： https://github.com/pytorch/fairseq 模型(model)： 【1】Neural Machine Translation(NMT): 神经机器翻译(NMT)是直接用神经网络去模拟条件概率：p(x∣y)p(x|y)p(x∣y) NMT一般由两个部分组成：...
approaches to translation studies
07-20
翻译研究的入门教材，适合本科生研究生和翻译爱好者。原版书籍，观点新颖，实用性强。
注意力机制Effective Approaches to Attention-based Neural Machine Translation
DAICONG’s Blog
03-10 240
Effective Approaches to Attention-based Neural Machine Translation nlp三大顶会：ACL、EMCNLP、NACL 学起于思，思起于疑 合抱之木，生于毫末，九层之台，起于垒土，千里之行，始于足下 NMT 神经机器翻译neural Machine transtation eos sos bos end、star of sentence 端到端模型：撒见和训练都非常的简单 符合人类的翻译直觉，即阅读源的一句话，-明白意思–翻译成目标的一句话 s
Effective Approaches to Attention-based Neural Machine Translation笔记
Zjhao666的博客
08-31 342
一、概要 时间步t 1 首先使用最顶层堆叠LSTM的隐含层ht作为输入，以获得语境向量ct 2 进而预测出目标单词yt global和local的区别仅在于语境向量ct的获取方式 3 拼接隐含层ht和语境向量ct，以获得注意力隐含层状态 4 接着注意力向量ht通过softmax层去生成预测分布 二、global attention 关注全局 思想：在生成语境向量ct时...
Effective Approaches to Attention-based Neural Machine Translation_2015_Luong 【NMT】【Attention】
R
07-10 254
文章目录提出背景神经机器翻译NMT模型Global AttentionLocal attention 论文链接：Effective Approaches to Attention-based Neural Machine Translation By Luong et al. 2015 任务对齐（alignments between different modalities）：对齐是指比如在翻译任务中，翻译每个词的时候，要找多需要重点关注的原句中的词，也就是将原文中的词和目标文中的词对应起来。 对齐权
《Effective Approaches to Attention-based Neural Machine Translation》—— 基于注意力机制的有效神经机器翻译方法
然后就去远行
10-24 2175
《Effective Approaches to Attention-based Neural Machine Translation》 基于注意力机制的有效神经机器翻译方法； 作者：Minh-Thang Luong（第一作者）； 单位：Stanford University； 会议：EMNLP 2015；（NLP三大顶会：ACL、EMNLP、NAACL） 论文总览 Abstract：基于注意力机制的神经机器翻译模型是一种有效的方法，但是目前关于注意力机制模型结构的文章还比较少，本文提出了两种简单但是
%5B8%5D+Sutskever+I%2C+Vinyals+O%2C+Le+Q+V.+Sequence+to+sequence+learning+with+neural+networks%5BC%5D%2F%2FAdvances+in+neural+information+processing+systems.+2014%3A+3104-3112.%5Cn%5B9%5D+Chorowski+J%2C+Bahdanau+D%2C+Serdyuk+D%2C+et+al.+Attention-based+models+for+speech+recognition%5BJ%5D.+arXiv+preprint+arXiv%3A1506.07503%2C+2015.%5Cn%5B10%5D+Luong+M+T%2C+Pham+H%2C+Manning+C+D.+Effective+approaches+to+attention-based+neural+machine+translation%5BJ%5D.+arXiv+preprint+arXiv%3A1508.04025%2C+2015.%5Cn%5B11%5D+Vaswani+A%2C+Shazeer+N%2C+Parmar+N%2C+et+al.+Attention+is+all+you+need%5BC%5D%2F%2FAdvances+in+neural+information+processing+systems.+2017%3A+5998-6008.
最新发布
05-17
序列到序列学习（Sequence-to-Sequence Learning）是一种基于神经网络的方法，用于将输入序列映射到输出序列。这种技术广泛应用于机器翻译、语音识别等领域。Sutskever等人首次提出了使用循环神经网络（RNNs）实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值