在本地机器上训练和运行斯坦福Alpaca模型指南

原创于 2025-12-10 18:05:11 发布 · 235 阅读

CC 4.0 BY-SA版权

文章标签：

#机器学习 #开源模型 #模型训练 #程序那些事 #AIGC #机器人 #机器人技术

在您自己的机器上训练和运行斯坦福Alpaca

LLaMA是某机构研究发布的一个新的开源语言模型，其性能可与闭源模型相媲美。与Stable Diffusion类似，该模型公开发布后，引发了大量的实验和创新。正如Simon Willison所言，LLaMA易于在自己的硬件上运行，规模足够大以发挥作用，并且足够开源以供修改。

LLaMA功能强大，但它并非为回答问题而构建。它的功能更像是一个高级版的自动补全工具，而不是一个对话机器人。这就是斯坦福大学Alpaca的用武之地。Alpaca是LLaMA的微调版本，可以像ChatGPT一样响应指令。并且，和LLaMA一样，它是开源的。

问题是，Alpaca的模型权重尚未发布，因此您无法对其进行修改。不过，我们确实拥有了复现它所需的所有组成部分：LLaMA权重、训练数据和训练脚本。

本文将展示如何训练Alpaca，以便您可以在自己的机器上对其进行修改。

注意：LLaMA以及任何基于LLaMA构建的模型仅用于研究目的。您不能将其用于任何商业用途。

先决条件

LLaMA权重。它们仅可用于研究用途。要申请访问权限，请填写此某机构研究表格。
GPU机器。您需要一台配备一个或多个80GB A100 GPU的Linux机器。如果使用更多GPU的机器，速度会更快——我们使用了四个。我们在某中心的云平台上取得了成功。您可以按照我们这里的说明操作。

步骤 1: 克隆 Alpaca 仓库

我们创建了一个添加了Cog配置文件的Alpaca仓库分支，该文件将为您设置所有依赖项。

通过SSH登录到您的GPU实例。运行以下命令克隆仓库：

git clone https://github.com/replicate/cog_stanford_alpaca
cd cog_stanford_alpaca

步骤 2: 转换 LLaMA 权重

LLaMA权重目前仅可用于研究用途。要申请访问权限，请填写此某机构研究表格。

将您下载的权重放入名为unconverted-weights的文件夹中。文件夹结构应大致如下所示：

unconverted-weights
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── tokenizer.model
└── tokenizer_checklist.chk

使用以下命令将权重从PyTorch检查点格式转换为与transformers库兼容的格式：

cog run python -m transformers.models.llama.convert_llama_weights_to_hf \
  --input_dir unconverted-weights \
  --model_size 7B \
  --output_dir weights

您最终的目录结构应如下所示：

weights
├── llama-7b
└── tokenizer

步骤 3: 训练模型

启动训练：

cog run ./train_model.sh

在四个A100上，这大约需要一个小时半小时，所以您可能需要在模型自我“编程”时去处理其他编程工作。

步骤 4: 运行模型

训练完成后，您可以运行Alpaca：

$ cog predict -i prompt="Tell me something about alpacas.

Alpacas are a species of South American camelid and are closely related to llamas. They are smaller than llamas and have a finer fleece, which is used to make clothing and other crafts. Alpacas are social animals that live in herds and can come in two colors: white and brown. They are very easy to take care of and require minimal grooming.