Effective Approaches to Attention-based Neural Machine Translation

最新推荐文章于 2021-03-10 23:49:36 发布
最新推荐文章于 2021-03-10 23:49:36 发布
阅读量4k 收藏 7
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 论文阅读 深度学习 文章标签： attention global attention local attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_33741547/article/details/85293872
本文介绍了Luong等人2015年的研究，他们在Bahdanau的注意力模型基础上提出全局和局部两种注意力机制。全局方法在每个时间步计算与源序列的所有隐藏状态的相似度，而局部方法仅关注源序列的一部分。实验结果显示，局部方法在多个翻译任务中表现最佳，特别是在使用general评分函数时。此外，作者还引入了input feeding来利用已翻译信息，并通过AER评估对齐质量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

Minh-Thang Luong等在2015年arXiv上的论文，原文地址：地址
这是继Bahdanau提出attention用于NLP的后续工作，作者提出了两种新的，相对于前面工作简单但有效的网络，一种称为global方法，实现上与Bahdanau使用的方式很相似，在每一次生成目标词时，都需要所有对源语句隐藏状态计算相似度，但相对来说更为直接简单；另一种称为local方法，不同的是在计算时只需要对源语句某个子集计算相似度，之后基于这个子集生成context vector。
此外，作者对比了不同的对齐函数在模型上所取得的效果，使用文中提出的模型，作者在英文翻译到德文的多项任务中取得了SOTA的结果。

模型

Neural Machine Translation

在这里插入图片描述
一般的神经网络翻译模型，都是直接对条件概率 p ( y ∣ x ) p(y|x) p(y∣x)建模，其中x为源语句，y为目标语句。具体到上述图中，蓝色部分的encoder，将目标语句编译成语义表示s，而红色部分的decoder接收源语句表示s，逐个字翻译目标语句，表达式如下：
在这里插入图片描述
在上述端到端的模型中，一般在神经单元后续加上一个softmax函数，生成一个字典大小的概率分布向量，决定当前生成的字，
在这里插入图片描述
如上所示，在整个计算过程中，源语句语义表示s都是不变的，如果通过一些方式使得s可以动态的变化，就是attention模型了。

Attention-based Models

Attention模型实际上讲的就是如何计算动态的源语句语义表示，这里称为c，对应的t时间步的语义表示则称为 c t c_t ct​。
对于global或者local方法来说，不同的只是通过当前时间t隐层输出 h t h_t ht​与源语句隐层输出 h s h_s hs​计算出context c t c_t ct​的方式，其后续步骤都是一致的，如下：

最低0.47元/天 解锁文章

200万优质内容无限畅学
【论文笔记】Effective Approaches to Attention-based Neural Machine Translation
gjh1716718326的博客
10-31 467
这篇文章发布2015年，关于Attention的应用。 现在看来可能价值没那么大了，但是由于没读过还是要读一遍。 简介 Introduce In parallel, the concept of “attention” has gained popularity recently in training neural networks, allowing models to learn alignments between different modalities, e.g., between image
Effective Approaches to Attention-based Neural Machine Translation【论文笔记】
Chevalier的博客
11-21 609
一、摘要   attention机制通过在翻译过程中选择性地专注于部分原句来提高神经机器翻译（Neural Machine Translation，NMT）的性能。然而，目前很少有用的基于attention的NMT架构。本篇论文介绍了两种简单有效的attention机制。全局attention关注原句的所有单词，局部attention关注原句的一部分单词。 二、介绍   NMT通常是一个大型的神经...
Effective Approaches to Attention-based Neural Machine Translation之每日一篇
gentelyang的博客
06-29 492
论文地址：http://www.cs.cmu.edu/~ark/EMNLP-2015/proceedings/EMNLP/pdf/EMNLP166.pdf概述：本文针对NMT任务是用attention机制提出两种结构，global attention将attention作用于全部输入序列，local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft at...
注意力机制Effective Approaches to Attention-based Neural Machine Translation
DAICONG’s Blog
03-10 242
Effective Approaches to Attention-based Neural Machine Translation nlp三大顶会：ACL、EMCNLP、NACL 学起于思，思起于疑 合抱之木，生于毫末，九层之台，起于垒土，千里之行，始于足下 NMT 神经机器翻译neural Machine transtation eos sos bos end、star of sentence 端到端模型：撒见和训练都非常的简单 符合人类的翻译直觉，即阅读源的一句话，-明白意思–翻译成目标的一句话 s
Effective Approaches to Attention-based Neural Machine Translation_2015_Luong 【NMT】【Attention】
R
07-10 256
文章目录提出背景神经机器翻译NMT模型Global AttentionLocal attention 论文链接：Effective Approaches to Attention-based Neural Machine Translation By Luong et al. 2015 任务对齐（alignments between different modalities）：对齐是指比如在翻译任务中，翻译每个词的时候，要找多需要重点关注的原句中的词，也就是将原文中的词和目标文中的词对应起来。 对齐权
《Effective Approaches to Attention-based Neural Machine Translation》—— 基于注意力机制的有效神经机器翻译方法
然后就去远行
10-24 2184
《Effective Approaches to Attention-based Neural Machine Translation》 基于注意力机制的有效神经机器翻译方法； 作者：Minh-Thang Luong（第一作者）； 单位：Stanford University； 会议：EMNLP 2015；（NLP三大顶会：ACL、EMNLP、NAACL） 论文总览 Abstract：基于注意力机制的神经机器翻译模型是一种有效的方法，但是目前关于注意力机制模型结构的文章还比较少，本文提出了两种简单但是
LSTM-Attention模型：Effective Approaches to Attention-based Neural Machine Translation
ACM_hades的博客
02-13 824
参考链接 论文链接：https://arxiv.org/pdf/1508.04025v5.pdf 项目链接： https://github.com/pytorch/fairseq 模型(model)： 【1】Neural Machine Translation(NMT): 神经机器翻译(NMT)是直接用神经网络去模拟条件概率：p(x∣y)p(x|y)p(x∣y) NMT一般由两个部分组成：...
论文笔记(Attention 2)-----Effective Approaches to Attention-based Neural Machine Translation
hx14301009的博客
05-26 3834
上一篇attention介绍了Bahdanau等人提出的一种soft-attention模型。  Luong等人在此基础上提出了两种简单且有效的方式：全局(global)和局部(local)的方式。所谓的global，就是指每次都关注整个source sentence，而local则是在每个时间t，只关注一部分source sentence。Luong等人提出的global类似于Bahdanau等...
论文笔记：Effective approaches to attention-based neural machine translation
travalscx的博客
08-16 295
https://www.jianshu.com/p/1c24eba3ba9c 本论文就提出了两种简单但却有效的注意力机制，全局注意力（global）和局部注意力（local）。 本文提出的两种注意力机制（global & local）其本质区别在于，全局注意力会参考所有输入词，而局部注意力只会考虑部分输入词。 全局注意力 该注意力机制重点在于考虑所有输入的隐状态来生成语境向量。 局部注意...
[attention] 论文笔记-Effective Approaches to Attention-based Neural Machine Translation
weixin_42663919的博客
07-23 359
论文理论 文章：Effective Approaches to Attention-based Neural Machine Translation 链接：https://pan.baidu.com/s/1qZieu90lKPMwwj2BxoO2MA 提取码：6pv0 模型理解 本文提出的attention主要是基于翻译任务，模型框架使用encoder(embedding)-decoder(embedding)+attention，提出了两种attention:global attention 和l
Effective Approaches to Attention-based Neural Machine Translation笔记
Zjhao666的博客
08-31 343
一、概要 时间步t 1 首先使用最顶层堆叠LSTM的隐含层ht作为输入，以获得语境向量ct 2 进而预测出目标单词yt global和local的区别仅在于语境向量ct的获取方式 3 拼接隐含层ht和语境向量ct，以获得注意力隐含层状态 4 接着注意力向量ht通过softmax层去生成预测分布 二、global attention 关注全局 思想：在生成语境向量ct时...
Effective Approaches to Attention-based Neural Machine Translation 学习笔记
Doron15的博客
08-18 1789
Effective Approaches to Attention-based Neural Machine Translation 学习笔记 本文是阅读 Effective Approaches to Attention-based Neural Machine Translation 之后的学习总结，如有不妥之处，烦请各位斧正。 Effective Approaches to Atte...
论文学习笔记05（Effective Approaches to Attention-based Neural Machine Translation）
Xiao_yanling的博客
04-28 347
Effective Approaches to Attention-based Neural Machine Translation
Effective Approaches to Attention-based Neural Machine Translation论文笔记
geter_CS的博客
04-22 573
这篇文章在NMT(Neural machine translation)上尝试了两种简单且有效的注意力机制：一个可以注意所有单词的全局方法（global approach），和一个只看部分单词的局部方法（local approach). 1.全局方法类似(Bahdanau et al.2015)，但是结构更简单， 2.局部方法可以看为是hard和soft注意力机制(Xu et al.,2015)的...
《Effective Approaches to Attention-based Neural Machine Translation》论文笔记
lrt366的博客
06-08 386
本文主要用于记录发表于2015年的一篇神作（引用量上千）。该论文将注意力机制在机器翻译的领域进行了升级，而本笔记意在方便初学者快速入门，以及自我回顾。 论文链接：http://aclweb.org/anthology/D15-1166 基本目录如下： 摘要 核心思想 总结 ------------------第一菇 - 摘要------------------ 1.1 论文摘要 近年...
%5B8%5D+Sutskever+I%2C+Vinyals+O%2C+Le+Q+V.+Sequence+to+sequence+learning+with+neural+networks%5BC%5D%2F%2FAdvances+in+neural+information+processing+systems.+2014%3A+3104-3112.%5Cn%5B9%5D+Chorowski+J%2C+Bahdanau+D%2C+Serdyuk+D%2C+et+al.+Attention-based+models+for+speech+recognition%5BJ%5D.+arXiv+preprint+arXiv%3A1506.07503%2C+2015.%5Cn%5B10%5D+Luong+M+T%2C+Pham+H%2C+Manning+C+D.+Effective+approaches+to+attention-based+neural+machine+translation%5BJ%5D.+arXiv+preprint+arXiv%3A1508.04025%2C+2015.%5Cn%5B11%5D+Vaswani+A%2C+Shazeer+N%2C+Parmar+N%2C+et+al.+Attention+is+all+you+need%5BC%5D%2F%2FAdvances+in+neural+information+processing+systems.+2017%3A+5998-6008.
最新发布
05-17
### 关于序列到序列学习的研究 序列到序列学习（Sequence-to-Sequence Learning）是一种基于神经网络的方法，用于将输入序列映射到输出序列。这种技术广泛应用于机器翻译、语音识别等领域。Sutskever等人首次提出了使用循环神经网络（RNNs）实现端到端的序列到序列建模[^4]。 ```python import torch.nn as nn class Seq2Seq(nn.Module): def __init__(self, encoder, decoder): super(Seq2Seq, self).__init__() self.encoder = encoder self.decoder = decoder def forward(self, src, trg): # Encoder processes input sequences. hidden_state = self.encoder(src) # Decoder generates output based on encoded information. outputs = self.decoder(trg, hidden_state) return outputs ``` ### 注意力机制在语音识别中的应用 注意力模型通过允许模型聚焦于输入的不同部分来提高性能，在语音识别领域尤为重要。Bahdanau等人引入了一种软对齐方法，该方法能够动态调整源句和目标句之间的对应关系[^5]。这种方法显著提高了自动语音识别系统的准确性。 对于特征提取而言，由于语音信号具有波动性，即使人们努力说出相同的两个句子，其信号也总是存在差异，这使得计算机科学家难以进行有效的特征提取[^1]。 ### 基于注意力的神经机器翻译的有效方法 Vaswani等人提出的Transformer架构完全摒弃了传统的RNN结构，转而采用自注意力机制（Self-Attention Mechanism），极大地提升了训练效率并降低了计算复杂度[^6]。这一突破性的进展表明，“注意力就是一切”，即仅依靠注意力机制即可完成高质量的语言翻译任务。 ```python def scaled_dot_product_attention(q, k, v, mask=None): matmul_qk = torch.matmul(q, k.transpose(-2, -1)) dk = q.size()[-1] scores = matmul_qk / math.sqrt(dk) if mask is not None: scores += (mask * -1e9) attention_weights = nn.Softmax(dim=-1)(scores) output = torch.matmul(attention_weights, v) return output, attention_weights ``` ### 结论 综上所述，无论是从理论层面还是实际应用场景来看，序列到序列学习配合注意力机制都展现出了强大的潜力与价值。未来随着硬件条件的进步和技术的发展，这些算法有望进一步优化并在更大规模的数据集上取得更好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值