大模型后训练：SFT泛化能力非定论，受优化、数据与模型能力共同制约

现象一：表面的“不泛化”可能源于优化不充分

此前部分研究得出“SFT泛化受限”的结论，原因可能在于其训练周期较短。本研究复现短轮次训练设定，使用2万条长思维链数学数据微调Qwen3 - 14B - Base模型1个epoch，结果印证前人说法。但将训练周期延长至8个epoch时，模型在跨领域任务上性能呈现“先降后升”模式。深入分析模型输出回复长度可解释此现象，早期模型仅学到长思维链“表面冗长”形式，未掌握实质推理逻辑，随着优化深入，跨领域泛化能力提升。回复长度可作为评估优化阶段的粗粒度诊断指标，且同等训练步数预算下，对少量长思维链数据多轮次重复曝光比单轮次遍历海量数据效果更好，长思维链数据拟合难度大，欠拟合可能是更需关注的风险。

发现二：数据质量与结构对泛化能力影响重大

确认充分优化重要性后，研究团队探讨训练数据对泛化性能的影响。使用低质量传统解答数据训练，对同分布数学任务提升有限，还导致分布外能力全面下降，且无“先降后升”恢复期，表明低质量数据损害SFT效用，是低估SFT泛化能力的干扰因素。引入Countdown数据集隔离“领域知识”与“推理过程”，实验表明学习Countdown长思维链数据，Qwen3 - 14B - Base模型在复杂数学基准测试和代码生成、科学推理等任务上有泛化增益，揭示SFT泛化核心驱动力是“程序化推理模式”。

现象三：模型能力差异导致截然不同的泛化表现

控制数据质量和优化条件一致，基模型规模与能力对泛化结果起重要作用。研究团队在Qwen3系列四个参数规模上做长思维链SFT，结果呈现能力依赖性。较高能力模型（14B）经历“先降后升”阶段，在多个跨域任务上全面提升，回复长度后期迅速收敛；较低能力模型（1.7B）各项任务增益微弱甚至负增长，回复长度始终极高。分析模型生成Token对数概率分布，揭示两者学习机制差异，1.7B模型倾向表面模仿，14B模型内化高层逻辑控制流。

现象四：泛化的非对称性——推理提升伴随安全性下降

长思维链SFT带来跨领域推理泛化，但有非对称副作用，推理能力提升伴随模型安全性和拒绝机制退化。安全基准测试中，长思维链SFT模型面对有害指令攻击成功率大幅上升，无思维链数据训练的模型安全性下降幅度小。案例分析表明基模型面对有害请求直接拒绝，长思维链训练后模型会“自我合理化”并提供有害内容，这也是一种“泛化”，提示要重新审视长思维链模型安全对齐策略。

这项研究给行业带来了什么？

在大模型后训练阶段关注强化学习趋势下，这项工作提供更全面客观视角。“SFT是否具备泛化能力”表述不严谨，泛化是优化充分度、数据质量与结构、基模型能力共同作用的产物，脱离前提条件易误判。未来大模型后训练研究应关注模型、数据、算法与训练策略协同设计。