Explicit Cross-lingual Pre-training for Unsupervised Machine Translation(CMLM阅读笔记)

《Explicit Cross-lingual Pre-training for Unsupervised Machine Translation》是北航的SKLSDE Lab发表于EMNLP 2019一篇论文，主要介绍一种无监督机器翻译的显式跨语言预训练方法。

摘要

在无监督机器翻译中，预训练被证明能够在跨语言场景中建模深层的上下文信息。然而从共享BPE词表空间获得的跨语言信息是意义不明确的以及十分有限的。在本文中，作者提出了一种新的跨语言预训练方法，该方法通过加入明确的跨语言训练信号来实现无监督机器翻译。具体来说，首先计算跨语言的n-gram embeddings，并从中推断出一个n-gram翻译表。利用这些n-gram的翻译对，提出了一种新的预训练模型，称为Cross-lingual Masked Language Model(CMLM)，它在输入文本流中随机选择源语的n-grams，并在每个时间步预测它们的翻译候选。实验表明，该方法可以将有用的跨语言信息融入到预先训练的模型中。最后利用预先训练好的CMLM模型作为编码器和解码器，显著提高了无监督机器翻译的性能。
该项目的代码也开源出来了：https://github.com/Imagist-Shuo/CMLM

前言

无监督机器翻译近年来已成为一个新兴的研究领域。常见的无监督机器翻译框架首先建立了两个初始翻译模型(source to target 和 target to source)，然后进行迭代Back Translation。所以初始化这一过程对于最终的翻译表现很关键。
先前的方法大多数受益于跨语言的n-gram embeddings，但最近的研究证明，通过跨语言的语言模型预训练来建立初始的无监督机器翻译模型可能是一种更有效的方法。但是，在他们的方法中，跨语言的信息主要是通过预训练时共享BPE空间获得的，这