TOWER: An Open Multilingual Large Language Model for Translation-Related Tasks

本文是LLM系列文章，针对《TOWER: An Open Multilingual Large Language Model for Translation-Related Tasks》的翻译。

摘要

虽然通用大型语言模型（LLM）证明了其在翻译领域内对多个任务的熟练程度，但基于开放式LLM的方法只有在专门处理单个任务时才具有竞争力。在本文中，我们提出了一个针对翻译工作流中存在的多个任务定制LLM的方法。我们对单语和并行数据的多语言混合进行持续的预训练，创建TOWERBASE，然后对与翻译过程相关的指令进行微调，创建TOVERINSTRUCT。我们的最终模型在与翻译工作流程相关的几个任务上超越了开放的替代方案，并与通用的封闭LLM具有竞争力。为了促进未来的研究，我们发布了TOWER模型、我们的专业化数据集、专注于翻译生态系统的LLM评估框架，以及基于我们的基准的模型生成集合，包括我们的模型生成。

1 引言

2 TOWER：一个用于翻译相关任务的开放式多语言LLM

3 实验

4 剖析训练配方

5 相关工作

6 结论

我们提出了一种将LL