qq_48340450的博客

原创 LLaMA-Factory启用LLaMA Pro时的一些细节

使用LLaMA Factory的LLaMA Pro功能时要先修改并运行expand.sh文件，获得扩展的模型。然后（freeze微调方法）训练时使用扩展模型，勾选“使用LLaMA Pro”选项，还需要调整“部分参数微调设置”中的“可训练层数”和expand.sh中的num_expand保持一致。也就是说expand.sh文件会对原始模型的块分num_expand个组，并在每组顶部插入一个复制的块。而在训练阶段如果勾选了“启用LLaMA Pro”，它会把模型的块分成“可训练层数。