BayLing 2: A Multilingual Large Language Model with Efficient Language Alignment

本文是LLM系列文章，针对《BayLing 2: A Multilingual Large Language Model with Efficient Language Alignment》的翻译。

摘要

大型语言模型（LLM）以其强大的生成能力和丰富的知识，为日常生活中的各种任务提供支持。然而，这些能力主要集中在高资源语言中，而低资源语言的生成能力较弱，知识也相对有限。因此，提高LLM的多语言能力对于服务全球 100 多个语言社区至关重要。增强多语言能力的直观方法是构建各种语言的指令数据，但构建 100 多种语言的指令数据成本高昂。在本文中，我们介绍了 BayLing 2，它通过语言对齐有效地将生成能力和知识从高资源语言转移到低资源语言。为此，我们构建了320万条指令的数据集，包括高资源语言指令（中文和英文）以及100多种语言的跨语言指令，并基于数据集进行指令调优，以促进语言之间的能力迁移。以Llama为基础模型，开发了BayLing-2-7B、BayLing-2-13B、BayLing-2-8B，并对BayLing进行了综合评价。对于跨 100 多种语言的多语言翻译，与类似规模的开源模型相比，BayLing 表现出了卓越的性能。在多语言知识和理解基准方面，BayLing 在 20 多种低资源语言上取得了显着改进，展示了其从高资源语言到低资源语言的有效知识迁移的能力。此外，英语基准测试的结果表明，BayLing 在高资源语言中保持了高性能，同时增强了低资源语言中的性能。 BayLing的演示、主页、代码和模型可用。

1 引言

2 相关工作