文本生成系列（一）seq2seq中的copy机制

最新推荐文章于 2021-11-12 19:12:37 发布

原创

最新推荐文章于 2021-11-12 19:12:37 发布 · 3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#copy机制 #seq2seq #文本生成

本文介绍了seq2seq中广泛应用的copy机制。copynet可将输入字符复制到解码输出，缓解OOV问题、强化输入输出关联。预测包含generate-mode和copy-mode，状态更新时不仅用预测输出的embedding，还拼接其编码信息，能有效应用于复述、对话等任务。

本文记录seq2seq中一种广泛应用的方法：copy机制。
paper code

Incorporating Copying Mechanism in Sequence-to-Sequence Learning

上图左边为seq2seq模型中的encode-decode框架，右边为左边小框框的放大图，也是copynet相对传统网络的改进。

所谓copynet，就是模型输入中的字符可以被复制到解码输出中，这可以一定程度上缓解OOV问题，另一方面也可以强化输入输出之间的关联，这在复述、对话等任务中是有很大帮助的。

上图(a)中的下半部分粉红色框序列为copynet的encode部分，为正常的双向RNN结果（隐藏层序列记为M）；中间黑色部分为attention结构；上方紫色部分为decode部分，与传统的RNN-decoder的主要区别有：1. 预测的时候除了generate-mode还有copy-mode；2. 更新t时刻的状态时，不仅使用了t-1时刻的预测输出的embedding，而且使用了该预测输出在encode阶段的编码信息。