prompt，RAG，finetune，从零训练大模型对比

1 几种方式

1.1 微调 finetune

1.1.1 全面微调

• 在全面微调中，所有模型参数都会更新

1.1.2 参数高效微调(PEFT) 

• 仅更新一小部分参数来进一步调整预训练模型

• 相比于全面微调，PEFT
  • 更高效、更快的训练
  • 保留预训练中的知识

1.2 prompt engineering

• 又分为

  • Zero-shot Prompting

  • Few-shot prompting

    • 在用户的查询前添加一些示例，这些示例本质上是样本输入和预期模型输出对

1.3 rag

2 对比 

	Prompt Engineering	RAG	微调	从零训练大模型
介绍	通过提供少量示例提供尽可能多的上下文，使基础模型更好地了解用例	增加了直接来自向量化信息存储的特定于用例的上下文 RAG 是基于外部数据库做即时检索（适合获取最新信息）	在特定领域的数据上更新模型权重 微调 是直接把知识“刻进模型大脑”，不再依赖外部检索。	模型是在用例特定数据上从零开始训练的