Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation

本文是LLM系列文章，针对《MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation》的翻译。

摘要

大型语言模型（LLM）在机器翻译（MT）领域已经证明了其强大的能力，但它们存在较高的计算成本和延迟。因此，将翻译知识从大型LLM转移到中型机器翻译模型是一个很有前途的研究方向。然而，传统的知识蒸馏方法没有考虑到学生和教师模型的能力，因此重复地在学生模型所学的知识上教授学生模型，并且未能扩展到新的上下文和知识中。在本文中，我们提出了一个名为MT-PATCHER的框架，该框架以选择性、全面和主动的方式将知识从LLM转移到现有的MT模型。考虑到学生MT模型目前的翻译能力，我们只识别和纠正他们的翻译错误，而不是从老师那里蒸馏整个翻译。利用LLM强大的语言能力，我们指导LLM教师综合不同的语境，并为学生预测更多潜在的错误。对特定语言现象和一般机器翻译基准的翻译实验结果表明，在大约10%的例子上微调学生机器翻译模型可以获得与传统知识蒸馏方法相当的结果，而综合潜在错误和不同的语境进一步提高了对看不见的语境和单词的翻译性能。

1 引言

2 背景

3 方法

4 实验

5 讨论

6 结论

我们介绍了MT-PATCHER，这是一个旨在利用LLM的能力来提高从LLM到现有MT模型的翻译知识转移的效率和有效性的框架。我们的方法涉及一个管道，该管道最初对MT模型产生的翻译产生反馈，然后综合潜在的错误和不同的上下文，以系统地纠正这些翻译错误。通过在通用和窄域MT基准上的实验，我们证