Salute the Classic: Revisiting Challenges of Machine Translation in the Age of Large Language Models

本文是LLM系列文章，针对《Salute the Classic: Revisiting Challenges of Machine Translation in the Age of Large Language Models》的翻译。

摘要

神经机器翻译（NMT）的发展受到六项核心挑战的显著影响，这六项挑战已成为该领域进步的基准。这项研究重新审视了这些挑战，深入了解了它们在高级大型语言模型（LLM）背景下的持续相关性：领域不匹配、并行数据量、罕见词预测、长句翻译、作为单词对齐的注意力模型和次优波束搜索。我们的实证研究结果表明，LLM在预训练阶段有效地减少了对主要语言并行数据的依赖。此外，基于LLM的翻译系统显著增强了包含大约80个单词的长句的翻译，并显示出翻译多达512个单词的文档的能力。然而，尽管有这些显著的改进，领域错配和稀有词预测的挑战仍然存在。虽然单词对齐和波束搜索的挑战，特别是与NMT相关的挑战，可能不适用于LLM，但我们确定了LLM在翻译任务中的三个新挑战：推理效率、预训练阶段低资源语言的翻译以及人工对齐评估。数据集和模型发布于https://github.com/pangjh3/LLM4MT.

1 引言

2 实验设置

3 六个经典挑战

4 新挑战

5 结论

在这项研究中，我们对LLM进行了详尽的分析，以应对六大经典翻译挑战。从积极的方面来看，我们的研究结果表明，LLM消除了对平行数据的依赖，并擅长翻译长句，这标志着与传统翻译模式相比有了显著的进步。然而，一些挑战仍然存在，包括领域错配和稀有单词的预测，这仍然是艰巨的任务。除此之外，推理的