Fine-tuning Large Language Models for Domain-specific Machine Translation-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138475905

本文提出LlamaIT，一种利用LoRA微调大型语言模型以进行高效、特定领域机器翻译的方法。通过创建混合域数据集，避免了输入示例依赖、后处理和过度专业化的问题，提高了LLM的领域适应性和稀有单词翻译能力。实验证明，LlamaIT能显著提升LLM的领域特定MT性能，同时保持零样本MT能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Fine-tuning Large Language Models for Domain-specific Machine Translation》的翻译。

摘要

大型语言模型（LLM）在机器翻译（MT）领域取得了重大进展。然而，它们在特定领域MT中的潜力仍有待探索。当前基于LLM的MT系统仍然面临一些挑战。首先，对于具有上下文学习的LLM，它们的有效性对输入的翻译示例高度敏感，处理它们会增加推理成本。由于生产过度，它们通常需要额外的后处理。第二，对特定领域数据进行微调的LLM通常需要高的领域适应训练成本，并且可能由于过度专业化而削弱LLM的零样本MT能力。上述方法可能难以在域迁移场景中翻译稀有单词。为了应对这些挑战，本文提出了一种面向提示的微调方法，称为LlamaIT，以有效和高效地微调用于特定领域MT任务的通用LLM。首先，我们构建了一个特定于任务的混合域数据集，然后使用该数据集对具有LoRA的LLM进行微调。这可以消除对输入翻译示例、后处理或过度专业化的需要。通过零样本提示指令，我们在推理时将MT任务调整到目标域。为了进一步激发稀有单词的机器翻译能力，我们通过结合特定领域的双语词汇来构建新的提示。我们还在公开的和自行构建的数据集上进行了广泛的实验。结果表明，我们的LlamaIT可以显著提高LLM的领域特定MT能力，同时保持其零样本MT能力。