本文是LLM系列文章,针对《GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators》的翻译.
摘要
大语言模型(LLM)的最新进展通过减少表示错误和引入外部知识,推动了多语言语音和机器翻译的发展。然而,这两个翻译任务通常都利用波束搜索解码和前1个假设选择进行推理。这些技术难以充分利用各种N最佳假设中的丰富信息,使其不太适合需要单一、高质量输出序列的翻译任务。在本文中,我们提出了一种新的翻译任务生成范式,即“GenTranslate”,它建立在LLM的基础上,从N最佳列表中的不同翻译版本中生成更好的结果。利用LLM丰富的语言学知识和强大的推理能力,我们的新范式可以整合N个最佳候选者中的丰富信息,以产生更高质量的翻译结果。此外,为了支持LLM微调,我们构建并发布了一个HypoTranslate数据集,该数据集包含11种语言的592K多个假设翻译对。在各种语音和机器翻译基准(例如,FLEURS、CoVoST-2、WMT)上的实验表明,我们的GenTranslate显著优于最先进的模型。