LLM 微调入门指南

 随着人们对大型语言模型（LLMs）兴趣的增长，旨在简化其训练流程的工具和封装器如雨后春笋般涌现。

主流选择包括 LMSYS 开发的 FastChat（曾用于训练 Vicuna 模型）和 Hugging Face 的 transformers/trl 库（在我的前作中使用过）。此外，每个大型 LLM 项目（如 WizardLM）通常都会基于最初的 Alpaca 实现方案，开发自己的训练脚本。

本文将使用 OpenAccess AI Collective 开发的工具Axolotl，在包含 1,000 个 Python 代码样本的 evol-instruct 数据集上，对 Code Llama 7b 模型进行微调。

🤔 Why Axolotl?

Axolotl 的主要吸引力在于它提供了一站式解决方案，包含众多功能、模型架构和活跃的社区。以下是我最喜欢的一些特点：

配置：所有用于训练 LLM 的参数都整齐地存储在 yaml 配置文件中。这便于共享和复现模型。你可以在这里查看