Day28上 - 大模型微调、多卡训练

三阶段微调

1. 预训练阶段 Pre-Train

修炼内功

数据格式：

• 单纯的文本段落即可
• 18T 个token
• 自回归式训练
• 全部计算损失

2. 指令监督微调 SFT

Supervised Fine-Tuning

• 核心：
  • 指令设计
  • 数据转换
  • 跟上层开发有对应关系
  • 配合测评
• 数据：
  • 1. 自我认知:
    • 每个项目都是必改的！
    • 不需要特殊准备，把 identity 修改和升级一下即可
  • 2. 私有数据
    • 针对你的具体任务
    • 你需要设计指令格式
    • 转换自己的数据
    • ……
  • 3. 公开数据
    • 框架自带
    • modelscope

先测一下不微调的时候，运行我们的任务结果如何。

• 如果不微调，大模型做的就挺好，就不需要微调；
• 如果不微调，大模型做的一般，不是特别好，可以进行微调；
• 如果不微调，大模型做的就很差，基本微调也没啥用；
• 所以，微调只针对于大模型表现效果一般的情况。

---

微调方法

1. 全参

Full Parameter

• 全部参数都参与学习
• 10倍size
<