TOWER: An Open Multilingual Large Language Model for Translation-Related Tasks

本文是LLM系列文章，针对《TOWER: An Open Multilingual Large Language Model for Translation-Related Tasks》的翻译。

摘要

虽然通用大型语言模型（LLM）证明了其在翻译领域内对多个任务的熟练程度，但基于开放式LLM的方法只有在专门处理单个任务时才具有竞争力。在本文中，我们提出了一个针对翻译工作流中存在的多个任务定制LLM的方法。我们对单语和并行数据的多语言混合进行持续的预训练，创建TOWERBASE，然后对与翻译过程相关的指令进行微调，创建TOVERINSTRUCT。我们的最终模型在与翻译工作流程相关的几个任务上超越了开放的替代方案，并与通用的封闭LLM具有竞争力。为了促进未来的研究，我们发布了TOWER模型、我们的专业化数据集、专注于翻译生态系统的LLM评估框架，以及基于我们的基准的模型生成集合，包括我们的模型生成。

1 引言

2 TOWER：一个用于翻译相关任务的开放式多语言LLM

3 实验

4 剖析训练配方

5 相关工作

6 结论

我们提出了一种将LLM专门用于多个翻译相关任务的新方法。首先，我们在高度多语言的语料库上继续进行预训练，扩展了LLaMA-2的多语言能力。然后，我们在高质量和多样化的翻译相关任务指令数据集上对模型进行微调。