【论文阅读】Towards Robust Neural Machine Translation

论文信息

ACL2018 来自腾讯

提出背景

  在神经机器翻译中，由于引入了循环神经网络和注意力机制，上下文中的每个词都可能影响模型的全局输出结果，类似于蝴蝶效应。
  比如说，同声传译里面的同音异形词；文本中的拼写错误
  输入的小的扰动会影响神经机器翻译的质量，在这篇文章中提出了利用对抗训练来提高NMT模型的robustness的方法。

具体方法

该方法的架构示意图如下图所示：

  其工作过程为：给定一个输入句子 x，首先生成与其对应的扰动输入 x’，接着采用对抗训练，让编码器对于 x 和 x’ 生成相似的中间表示，同时要求解码器端输出相同的目标句子 y。这样能使得输入中的微小扰动不会导致目标输出产生较大差异。
  对于翻译过程来说，有两个阶段：首先把输入x编码成隐藏状态$H_x$，然后从隐藏状态$H_x$中解码得到翻译y。
  模型有两个目标：
（1）编码得到的$H_{x^{\prime }}$和$H_x$相近。
（2）给定$H_{x^{\prime }}$，解码器可以输出robust翻译y。

训练的目标函数

$J(\theta )=\sum _{<x,y>\in S}(L_{true}(x,y;{\theta }_{enc},{\theta }_{dec})+\alpha \sum _{x^{\prime }\in N(x)}{L}_{inv}(x,x^{\prime };{\theta }_{enc},{\theta }_{dec})+\beta \sum _{x^{\prime }\in N(x)}{L}_{noisy}(x,y;{\theta }_{enc},{\theta }_{dec}))$
其中第一项和第三项的计算方法是：
$\hat{\theta }=argminL(x,y;\theta )=argmin\sum _{<x,y>\in S}-logP(y|x;\theta )$
$\theta$表示的是可以训练的参数。第二项表示的是adversarial loss。

两种给输入x加入扰动的策略

• 在词汇级别加入扰动（lexical level）

给定一个输入的句子x，随机采样一些单词的位置，这些单词用词表中其他位置单词代替。这些单词遵循如下的分布：
$P(x|x_i)=\frac{exp(cos(E[x_i],E[x])}{\sum exp(cos(E[x_i],E[x])}$
分母是代表词表中除了x以外的其他单词。

• 在feature级别加入扰动（feature level）

给定一个句子，可以得到每个单词的词嵌入向量，给词嵌入向量加入高斯噪声。
$E(x_i^{\prime })=E[x_i]+ϵ$
$ϵ$服从的是高斯分布。对句子中的所有单词都加入高斯噪声。
  这只是该论文中提出的两种加入干扰的策略，可以根据特定的任务来设计需要加入干扰的策略。

模型的优势

1. 提高了鲁棒性和翻译性能（translation performance）。
2. 适用于任何噪声扰动，该篇文章中提出了两种构造噪声的方法，可以扩展到任意噪声形式。
3. 不依赖于特定的网络结构，适用于任何NMT系统。