深度学习-146-大语言模型LLM之大模型的一些基本概念梳理

1 大模型优化的三个途径

这三种方法，都是优化的大模型的手段，但是实现路径和应用场景不同。

1.1 蒸馏

蒸馏：是学生通过模仿老师的解题思路，达到和老师相似的知识水平。
适用于将大模型的能力迁移到小模型上，以适配更低端的算力环境。
比如在企业私有云、个人电脑甚至手机、边缘终端上。

1.2 微调

微调：又叫精调，相当于学生意识到自己某门课有短板，然后自己找参考书恶补了一下，从而补上短板。
适用于特定场景下，用特定数据集对通用模型进行小规模训练。
比如通用基础模型对医疗不大懂，就用医疗数据集给它开小灶，让他变身医疗专家模型。

1.3 RAG

RAG：直译过来叫做“检索增强生成”。相当于这题我不会，但是我有