Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models

本文是LLM系列文章，针对《Towards Boosting Many-to-Many Multilingual Machine Translation with
Large Language Models 》的翻译。

摘要

机器翻译的训练范式已经逐渐转变，从使用广泛的并行语料库学习神经机器翻译（NMT）模型，到使用高质量翻译对的多语言大型语言模型（LLM）的指令微调。在本文中，我们专注于促进LLM的多语言翻译，重点是零样本翻译方向。我们证明了微调过程中采用的提示策略对零样本翻译至关重要，并引入了跨语言一致性正则化XConST，以弥合不同语言之间的表达差距，提高零样本翻译性能。XConST不是一种新方法，而是CrossConST的一个版本，适用于LLM的翻译指令微调。ALMA、Tower和LLaMA-2的实验结果表明，我们的方法持续提高了翻译性能。我们的实现可在https://github.com/gpengzhi/CrossConST-LLM上获得。

1 引言

2 背景

3 数据集和基线设置

4 方法

5 多语言实验

6 相关工作

7 结论

在本文中，我们研究了提示策略对LLM多语言机器翻译的影响，并提出了一种简单但有效的跨语言一致性正则化方法，用于翻译指令的多语言微调。通过大量的实验和可视化分析，我们发现：1）不同的提示策略在监督翻译方向上的表现相当，而使用不同的提示战略，零样本翻译的表现差异显著。2）