StaticKing的博客

MoE混合专家模型。输入 Token↓Router↓选择部分 Expert↓参与当前计算也就是说：并不是模型中的所有参数每一次推理都会全部参与计算。总参数：600B激活参数：30B这并不矛盾。它表示：模型总体拥有非常多参数，但一次实际推理只会激活其中一部分。一个现代大语言模型并不是在完成 Pre-training 以后，就天然具备今天看到的所有能力。获得语言、知识和基础模式能力。Base ModelSFT学习如何遵循用户指令。进一步学习什么样的回答更符合人类偏好。

这就引出了：简单理解：模型可以根据当前上下文中的信息临时调整自己的行为，但并不修改底层模型参数。接下来所有回答请使用中文。它后续能够遵守。并不是因为模型重新训练了。而是：这个要求仍然存在于当前 Context 中。Training修改模型参数利用当前上下文这是以后理解：PromptMemoryRAGAgent非常重要的基础。