A Preference-driven Paradigm for Enhanced Translation with Large Language Models

本文是LLM系列文章，针对《A Preference-driven Paradigm for Enhanced Translation with Large Language Models》的翻译。

摘要

最近的研究表明，大型语言模型 （LLM） 可以通过仅使用少量并行数据的监督微调 （SFT） 实现卓越的翻译性能。但是，SFT 只是指示模型在token级别模仿引用翻译，使其容易受到引用中存在的噪声的影响。因此，一旦 LLM 达到一定程度的翻译能力，SFT 的帮助通常会达到一个平台期，进一步增加并行数据的大小并不会提供额外的好处。为了克服与基于模仿的 SFT 相关的这一平台，我们提出了一种基于 Plackett-Luce 模型的基于偏好的方法。目标是引导 LLM 从整体角度对翻译偏好进行更细致的理解，同时在没有黄金翻译的情况下也更具弹性。我们进一步构建了一个名为 MAPLE 的数据集来验证我们方法的有效性，其中包括每个源句子不同质量的多个翻译。广泛的实验证明了我们的方法在跨不同 LLM 和测试设置“打破停滞期”方面的优越性。我们的深入分析强调了多元化翻译和准确的偏好评分在我们方法成功中的关键作用。

1 引言

2 相关工作

3 方法

4 人类偏好数据收