本文详细介绍了Luong注意力机制，包括全局和局部注意力模型，以及Input-feeding方法。通过实例展示了如何在神经机器翻译中构建和应用这些模型，提供了完整的代码实现。
Luong注意力原理
1 简介
NMT(Neural Machine Translation)通常是一种以端到端方式训练的大型神经网络，具有很好的泛化到很长的单词序列的能力。
A stacking recurrent architecture
与此同时，“attention”的概念在训练神经网络中得到流行，它允许模型学习不同模式之间的对齐。
本文研究了两种简单有效的注意机制：
-
一种是全局方法，它总是关注所有源词；
-
另一种是局部方法，它每次只关注源词的一个子集。
2 注意力模型
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
