三、大模型（LLMs）微调面

本文精心汇总了多家顶尖互联网公司在大模型基础知识考核中的核心考点，并针对这些考点提供了详尽的解答。并提供电子版本，见于文末百度云盘链接中，供读者查阅。

一、大模型微调

• 1 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？
• 2 为什么SFT之后感觉LLM傻了?
• 3 SFT 指令微调数据 如何构建?
        • 3.1 提升sft的prompt的代表性有什么好的方法？
        • 3.2 提升sft的prompt的数据量有什么好的方法？
• 4 领域模型Continue PreTrain 数据选取？
• 5 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
• 6 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？
• 7 进行SFT操作的时候，基座模型选用Chat还是Base?
• 8 领域模型微调 指令&数据输入格式 要求？
• 9 领域模型微调 领域评测集 构建？
• 10 领域模型词表扩增是不是有必要的？
• 11 如何训练自己的大模型？
• 12 训练中文大模型有啥经验？
• 1