Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation

UnknownBody

于 2024-05-28 09:40:10 发布

阅读量106

点赞数

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139254115

版权

LLM Daily 同时被 3 个专栏收录

1179 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

Distilling

31 篇文章

订阅专栏

LLM for NLP

31 篇文章

订阅专栏

本文提出MT-PATCHER框架，通过选择性、全面和主动的方式，利用大型语言模型（LLM）的能力，改进中型机器翻译模型的效率。与传统知识蒸馏不同，MT-PATCHER专注于识别并修正翻译错误，而不是全盘教授。实验显示，这种方法在部分例子中微调学生模型即可达到传统方法的效果，并在新上下文和单词翻译中表现更优。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation》的翻译。

摘要

大型语言模型（LLM）在机器翻译（MT）领域已经证明了其强大的能力，但它们存在较高的计算成本和延迟。因此，将翻译知识从大型LLM转移到中型机器翻译模型是一个很有前途的研究方向。然而，传统的知识蒸馏方法没有考虑到学生和教师模型的能力，因此重复地在学生模型所学的知识上教授学生模型，并且未能扩展到新的上下文和知识中。在本文中，我们提出了一个名为MT-PATCHER的框架，该框架以选择性、全面和主动的方式将知识从LLM转移到现有的MT模型。考虑到学生MT模型目前的翻译能力，我们只识别和纠正他们的翻译错误，而不是从老师那里蒸馏整个翻译。利用LLM强大的语言能力，我们指导LLM教师综合不同的语境，并为学生预测更多潜在的错误。对特定语言现象和一般机器翻译基准的翻译实验结果表明，在大约10%的例子上微调学生机器翻译模型可以获得与传统知识蒸馏方法相当的结果，而综合潜在错误和不同的语境进一步提高了对看不见的语境和单词的翻译性能。