LLM360: Towards Fully Transparent Open-Source LLMs-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134967184

本文介绍了LLM360，一个推动完全开源大型语言模型的倡议，旨在提升训练透明度并促进AI研究。首次发布包括两个7B参数的LLM——AMBER和CRYSTALCODER，以及训练代码、数据和中间结果。未来将发布更大规模的模型，并探索最佳数据集混合比例。

本文是LLM系列文章，针对《LLM360: Towards Fully Transparent Open-Source LLMs》的翻译。

摘要

最近开源大型语言模型（LLM）的激增，如LLaMA、Falcon和Mistral，为人工智能从业者和研究人员提供了多种选择。然而，大多数LLM只发布了部分工件，如最终的模型权重或推理代码，技术报告越来越多地将其范围限制在高级设计选择和表面统计数据上。这些选择降低了LLM训练的透明度，并迫使团队重新发现训练过程中的许多细节，从而阻碍了该领域的进展。我们介绍了LLM360，这是一项完全开源LLM的倡议，它主张向社区提供所有训练代码和数据、模型检查点和中间结果。LLM360的目标是通过使端到端LLM训练过程透明并可供所有人复制，支持开放和协作的人工智能研究。作为LLM360的第一步，我们发布了两个从头开始预训练的7B参数LLM，AMBER和CRYSTALCODER，包括它们的训练代码、数据、中间检查点和分析（在LLM360.ai上）。我们致力于通过这一开源努力不断突破LLM的边界。更大规模和更强的模型正在进行中，并将在未来发布。