《Analyzing Uncertainty in Neural Machine Translation》（ICML 2018）

问题：

内部不确定性：large beam search会导致性能下降，罕见词的低估和最终翻译缺乏多样性

外部不确定性：单个源句的多个有效翻译的存在，嘈杂的训练数据

思路：提出了工具和指标来评估模型分布如何捕获数据的不确定性以及它如何影响生成翻译的搜索策略

任务本身固有的不确定性（intrinsic 不确定性）：

同一个语句存在几个语义等价的翻译。即使字面上有很多表达相同含义的方法，翻译的文字可以或多或少。 句子可以是主动或被动形式，对于某些语言，决定者和介词如“the”，“of”或“their”可以是可选的。

除了由于存在不同但语义上等同的翻译而存在的不确定性之外，当翻译成比源语言更加变形的目标语言时，由于规范不足还存在不确定性的来源。 如果没有其他背景，通常无法预测缺失的性别，时态或数字，因此，同一来源句子有多个似是而非的翻译。 简化或增加上下文（cultural context）也是不确定性的常见来源。

数据收集过程引起的伪翻译（spurious artifacts）导致的不确定性（extrinsic 不确定性）：

为了节省时间和精力，通常使用较低质量的Web爬行数据来增加高质量的人工翻译语料库。该过程容易出错并且导致在数据分布中引入额外的不确定性。 目标语句可能只是源语句的部分翻译，或者目标可能包含源中不存在的信息。 一个鲜为人知的例子是目标句子，它们完全是源语言，或主要是相应来源的副本。