Day26下 - 大语言模型的 训练train 和 微调fine-tune 的区别

大语言模型学习的重点：

• 模型的训练 / 微调
• 部署模型
• 上层开发（以 LangChain 家族为核心）
  • Open API
  • Prompt 开发
  • RAG 开发
  • Agent 开发

---

训练 train 和 微调 fine-tune 的区别

共同点：

• 都是修改模型的参数

训练：

• 从零开始，训练一个大模型
• 类似买一块布，手动做一条裤子
• 数据量：
  • 预训练 18T
• 时间：
  • 2个月
• 训练平台：
  • 千卡
  • 万卡
  • H100，A100

微调：

• 从别人训练号的开源大模型开始，去做一个具体任务微调
• 类似买一条成品裤，根据腿长剪裤脚
• 数据量：
  • 几十条起
• 时间：
  • 几分钟起
• 训练平台：
  • 能把模型放下即可
  • 4090

---

三阶段：

第一阶段：预训练

• Pre-Train
• 内功修炼
• 往