Babel: Open Multilingual Large Language Models Serving Over 90% of Global Speakers

人类建造巴别塔是为了通往天堂、实现团结，但上帝混淆了他们的语言，把他们分散到了世界各地。——《旧约·创世纪》中的故事

摘要

大型语言模型（LLM）彻底改变了自然语言处理（NLP）领域，然而开源多语言LLM仍然稀缺，现有模型的语言覆盖范围通常有限。这些模型通常优先考虑资源丰富的语言，而广泛使用但资源不足的语言往往被忽视。为了解决这一差距，我们推出了Babel，这是一个开放的多语言LLM，覆盖了按使用人数排名前25的语言，支持全球90%以上的人口，并包含许多其他开放多语言LLM忽略的语言。与传统的持续预训练方法不同，Babel通过层扩展技术扩展其参数数量，从而提高了性能上限。我们推出了两个变体：Babel-9B，专为高效推理和微调而设计；Babel-83B，为开放多语言LLM树立了新标准。在多语言任务上的广泛评估表明，它的性能优于同类规模的开放LLM。此外，使用开源监督微调（SFT）数据集，Babel取得了显著的性能，其中Babel-9B-Chat在10B规模的LLM中领先，Babel-83B-Chat为多语言任务设定了新标准，达到了与商业模型相当的水平。

1. 引言

大型语言模型（LLM）（Achiam等人&#