LLM360: Towards Fully Transparent Open-Source LLMs

本文是LLM系列文章，针对《LLM360: Towards Fully Transparent Open-Source LLMs》的翻译。

摘要

最近开源大型语言模型（LLM）的激增，如LLaMA、Falcon和Mistral，为人工智能从业者和研究人员提供了多种选择。然而，大多数LLM只发布了部分工件，如最终的模型权重或推理代码，技术报告越来越多地将其范围限制在高级设计选择和表面统计数据上。这些选择降低了LLM训练的透明度，并迫使团队重新发现训练过程中的许多细节，从而阻碍了该领域的进展。我们介绍了LLM360，这是一项完全开源LLM的倡议，它主张向社区提供所有训练代码和数据、模型检查点和中间结果。LLM360的目标是通过使端到端LLM训练过程透明并可供所有人复制，支持开放和协作的人工智能研究。作为LLM360的第一步，我们发布了两个从头开始预训练的7B参数LLM，AMBER和CRYSTALCODER，包括它们的训练代码、数据、中间检查点和分析（在LLM360.ai上）。我们致力于通过这一开源努力不断突破LLM的边界。更大规模和更强的模型正在进行中，并将在未来发布。

1 引言

2 相关工作

3 LLM360框架

4 初始型号发布

5 总结

6 结论和未来工作

在本文中，我们将介绍LLM360，这是一个全面、完全开源的LLM计划。随着LLM360的首次发布，我们发布了两个7B LLM：AMBER（一种英语通用LLM）和CRYSTALCODER（一种专门为代码生成而预先训练的LLM）。在