Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

本文是LLM系列文章，针对《Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models》的翻译。

摘要

我们介绍了Jais和Jais chat，新的最先进的以阿拉伯语为中心的基础和基于指令的开放生成大型语言模型（LLM）。这些模型基于仅GPT-3解码器的架构，并在阿拉伯语和英语文本的混合上进行预训练，包括各种编程语言的源代码。基于广泛的评估，它们拥有130亿个参数，在阿拉伯语中表现出比任何现有的开放阿拉伯语和多语言模型都更好的知识和推理能力。此外，尽管使用的英语数据少得多，但与类似规模的以英语为中心的开放模型相比，这些模型在英语方面具有竞争力。我们对模型的训练、调整、安全校准和评估进行了详细描述。我们发布了该模型的两个开放版本——基础Jais模型和一个经过指令调整的Jais聊天变体——目的是促进对阿拉伯语LLM的研究。

1 引言

2 预训练数据

3 模型

4 指令调整

5 评估

6 安全性