本文是LLM系列文章,针对《Towards Boosting Many-to-Many Multilingual Machine Translation with
Large Language Models 》的翻译。
摘要
机器翻译的训练范式已经逐渐转变,从使用广泛的并行语料库学习神经机器翻译(NMT)模型,到使用高质量翻译对的多语言大型语言模型(LLM)的指令微调。在本文中,我们专注于促进LLM的多语言翻译,重点是零样本翻译方向。我们证明了微调过程中采用的提示策略对零样本翻译至关重要,并引入了跨语言一致性正则化XConST,以弥合不同语言之间的表达差距,提高零样本翻译性能。XConST不是一种新方法,而是CrossConST的一个版本,适用于LLM的翻译指令微调。ALMA、Tower和LLaMA-2的实验结果表明,我们的方法持续提高了翻译性能。我们的实现可在https://github.com/gpengzhi/CrossConST-LLM上获得。