Effective Approaches to Attention-based Neural Machine Translation

于 2022-01-15 12:24:32 发布
阅读量410 收藏
点赞数 1
分类专栏： NLP Papers NLP AI 文章标签： 机器翻译 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chansonzhang/article/details/122461843
版权
本文探讨了两种新颖的注意力模型在神经机器翻译（NMT）中的应用：全局注意力和局部注意力。全局注意力类似于Bahdanau等人的方法，但结构更简洁；局部注意力则结合了软硬注意力的优点，减少计算开销。实验表明，输入馈送方法和局部注意力可以进一步降低翻译成本，提高翻译质量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract

  • Global Attention: always attends to all source words.
  • Local Attention: only looks at a subset of source words at a time.

Introduction

在这里插入图片描述
在 NMT 领域，Bahdanau et al. (2015) 成功地将注意力机制应用于 jointly translate and align words.

本文提出了两种新颖的 attention-based models: global attention 和 local attention.

全局 attention 与 Bahdanau et al. (2015) 中的方法非常类似，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Effective Approaches to Attention-based Neural Machine Translation 学习笔记
Doron15的博客
08-18 1781
Effective Approaches to Attention-based Neural Machine Translation 学习笔记 本文是阅读 Effective Approaches to Attention-based Neural Machine Translation 之后的学习总结，如有不妥之处，烦请各位斧正。 Effective Approaches to Atte...
[EMNLP2015]Effective Approaches to Attention-based Neural Machine Translation
Deep Learning and NLP Farm
08-16 3076
neural machine translation有以下优点： (1) 有能力生成很长的词序列 (2) 因为不需要存储巨大的短语词表，所以需要很小的内存 (3) 解码很容易 A： 介绍了两种attention模型，其共同点是在每一步decoding时hidden state ht_t都作为输入参与计算ct_t (1)global attention 在生成target word yt_
《Effective Approaches to Attention-based Neural Machine Translation》—— 基于注意力机制的有效神经机器翻译方法
然后就去远行
10-24 2123
《Effective Approaches to Attention-based Neural Machine Translation》 基于注意力机制的有效神经机器翻译方法； 作者：Minh-Thang Luong（第一作者）； 单位：Stanford University； 会议：EMNLP 2015；（NLP三大顶会：ACL、EMNLP、NAACL） 论文总览 Abstract：基于注意力机制的神经机器翻译模型是一种有效的方法，但是目前关于注意力机制模型结构的文章还比较少，本文提出了两种简单但是
【论文笔记】Effective Approaches to Attention-based Neural Machine Translation
gjh1716718326的博客
10-31 459
这篇文章发布2015年，关于Attention的应用。 现在看来可能价值没那么大了，但是由于没读过还是要读一遍。 简介 Introduce In parallel, the concept of “attention” has gained popularity recently in training neural networks, allowing models to learn alignments between different modalities, e.g., between image
注意力机制Effective Approaches to Attention-based Neural Machine Translation
DAICONG’s Blog
03-10 239
Effective Approaches to Attention-based Neural Machine Translation nlp三大顶会：ACL、EMCNLP、NACL 学起于思，思起于疑 合抱之木，生于毫末，九层之台，起于垒土，千里之行，始于足下 NMT 神经机器翻译neural Machine transtation eos sos bos end、star of sentence 端到端模型：撒见和训练都非常的简单 符合人类的翻译直觉，即阅读源的一句话，-明白意思–翻译成目标的一句话 s
Effective Approaches to Attention-based Neural Machine Translation_2015_Luong 【NMT】【Attention】
R
07-10 237
文章目录提出背景神经机器翻译NMT模型Global AttentionLocal attention 论文链接：Effective Approaches to Attention-based Neural Machine Translation By Luong et al. 2015 任务对齐（alignments between different modalities）：对齐是指比如在翻译任务中，翻译每个词的时候，要找多需要重点关注的原句中的词，也就是将原文中的词和目标文中的词对应起来。 对齐权
Effective Approaches to Attention-based Neural Machine Translation之每日一篇
gentelyang的博客
06-29 482
论文地址：http://www.cs.cmu.edu/~ark/EMNLP-2015/proceedings/EMNLP/pdf/EMNLP166.pdf概述：本文针对NMT任务是用attention机制提出两种结构，global attention将attention作用于全部输入序列，local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft at...
Effective Approaches to Attention-based Neural Machine Translation【论文笔记】
Chevalier的博客
11-21 598
一、摘要   attention机制通过在翻译过程中选择性地专注于部分原句来提高神经机器翻译（Neural Machine Translation，NMT）的性能。然而，目前很少有用的基于attention的NMT架构。本篇论文介绍了两种简单有效的attention机制。全局attention关注原句的所有单词，局部attention关注原句的一部分单词。 二、介绍   NMT通常是一个大型的神经...
论文笔记(Attention 2)-----Effective Approaches to Attention-based Neural Machine Translation
hx14301009的博客
05-26 3821
上一篇attention介绍了Bahdanau等人提出的一种soft-attention模型。  Luong等人在此基础上提出了两种简单且有效的方式：全局(global)和局部(local)的方式。所谓的global，就是指每次都关注整个source sentence，而local则是在每个时间t，只关注一部分source sentence。Luong等人提出的global类似于Bahdanau等...
[attention] 论文笔记-Effective Approaches to Attention-based Neural Machine Translation
weixin_42663919的博客
07-23 350
论文理论 文章：Effective Approaches to Attention-based Neural Machine Translation 链接：https://pan.baidu.com/s/1qZieu90lKPMwwj2BxoO2MA 提取码：6pv0 模型理解 本文提出的attention主要是基于翻译任务，模型框架使用encoder(embedding)-decoder(embedding)+attention，提出了两种attention:global attention 和l
论文笔记：Effective approaches to attention-based neural machine translation
travalscx的博客
08-16 288
https://www.jianshu.com/p/1c24eba3ba9c 本论文就提出了两种简单但却有效的注意力机制，全局注意力（global）和局部注意力（local）。 本文提出的两种注意力机制（global & local）其本质区别在于，全局注意力会参考所有输入词，而局部注意力只会考虑部分输入词。 全局注意力 该注意力机制重点在于考虑所有输入的隐状态来生成语境向量。 局部注意...
LSTM-Attention模型：Effective Approaches to Attention-based Neural Machine Translation
ACM_hades的博客
02-13 797
参考链接 论文链接：https://arxiv.org/pdf/1508.04025v5.pdf 项目链接： https://github.com/pytorch/fairseq 模型(model)： 【1】Neural Machine Translation(NMT): 神经机器翻译(NMT)是直接用神经网络去模拟条件概率：p(x∣y)p(x|y)p(x∣y) NMT一般由两个部分组成：...
Effective Approaches to Attention-based Neural Machine Translation笔记
Zjhao666的博客
08-31 338
一、概要 时间步t 1 首先使用最顶层堆叠LSTM的隐含层ht作为输入，以获得语境向量ct 2 进而预测出目标单词yt global和local的区别仅在于语境向量ct的获取方式 3 拼接隐含层ht和语境向量ct，以获得注意力隐含层状态 4 接着注意力向量ht通过softmax层去生成预测分布 二、global attention 关注全局 思想：在生成语境向量ct时...
论文学习笔记05（Effective Approaches to Attention-based Neural Machine Translation）
Xiao_yanling的博客
04-28 333
Effective Approaches to Attention-based Neural Machine Translation
Effective Approaches to Attention-based Neural Machine Translation论文笔记
geter_CS的博客
04-22 567
这篇文章在NMT(Neural machine translation)上尝试了两种简单且有效的注意力机制：一个可以注意所有单词的全局方法（global approach），和一个只看部分单词的局部方法（local approach). 1.全局方法类似(Bahdanau et al.2015)，但是结构更简单， 2.局部方法可以看为是hard和soft注意力机制(Xu et al.,2015)的...
%5B8%5D+Sutskever+I%2C+Vinyals+O%2C+Le+Q+V.+Sequence+to+sequence+learning+with+neural+networks%5BC%5D%2F%2FAdvances+in+neural+information+processing+systems.+2014%3A+3104-3112.%5Cn%5B9%5D+Chorowski+J%2C+Bahdanau+D%2C+Serdyuk+D%2C+et+al.+Attention-based+models+for+speech+recognition%5BJ%5D.+arXiv+preprint+arXiv%3A1506.07503%2C+2015.%5Cn%5B10%5D+Luong+M+T%2C+Pham+H%2C+Manning+C+D.+Effective+approaches+to+attention-based+neural+machine+translation%5BJ%5D.+arXiv+preprint+arXiv%3A1508.04025%2C+2015.%5Cn%5B11%5D+Vaswani+A%2C+Shazeer+N%2C+Parmar+N%2C+et+al.+Attention+is+all+you+need%5BC%5D%2F%2FAdvances+in+neural+information+processing+systems.+2017%3A+5998-6008.
最新发布
05-17
Vaswani等人提出的Transformer架构完全摒弃了传统的RNN结构，转而采用自注意力机制（Self-Attention Mechanism），极大地提升了训练效率并降低了计算复杂度[^6]。这一突破性的进展表明，“注意力就是一切”，即仅...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值