【强烈收藏】大模型SFT微调实战：程序员必学的微调技巧与经验总结

原创于 2025-12-10 14:47:11 发布 · 569 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #大模型 #程序员 #转行 #ai #产品经理 #学习

微调大模型（SFT）听起来高大上，但对于初学者来说，关键在于掌握方法和节奏，而不是死磕复杂的理论。下面是一些实战中总结出来的经验，希望能帮你少走弯路。

微调前第一步，先优化Prompt

在动手微调之前，先别急着写代码。试试通过调整Prompt，看看模型能不能按照你期望的方式输出。比如，你希望模型输出JSON格式，那就设计Prompt让它每次都以json … 的形式回答。如果无论怎么调Prompt，模型都“不听话”，那很可能是模型本身的能力不够，这时候换个更强的模型可能比死磕Prompt更有效。但是如果Prompt很简单就能达到不错的效果，说明模型本身指令遵循能力不错，这时候就不需要把Prompt搞得过于复杂。

高质量数据：

有了“听话”的模型，下一步就是准备高质量的训练数据。我们可以利用更强大的模型（比如GPT-4）来生成一批候选答案，然后让多个模型（甚至包括你自己）来评判这些答案的质量，筛选出符合要求的QA对。如果条件允许，人工检验是确保数据质量的“保险栓”。不仅是LLM，其实在生成式领域用更强的模型生成数据并蒸馏，已经是一个相对成熟的解决方案。

别太迷信Loss，指标才是王道：

训练过程中，Loss曲线是重要的参考，但别把它当成唯一的判断标准。特别是到了中后期，Loss下降甚至上升，模型效果却可能在提升，这在大模型训练中并不罕见。真正可靠的判断方法是，从小步数的 checkpoint 就开始评估，比如计算准确率或其他与你业务相关的指标。正常情况下，随着训练进行，这些指标应该是逐渐下降并趋于收敛的。所以，别光盯着Loss看，它只是个“参考”。

数据为王：多样性、分布、风格都不能少

数据的质量和分布至关重要。再强调一遍：训练集的数据分布一定要覆盖测试集的数据分布！如果你发现测试集效果不好，但训练集表现还行，第一反应应该是检查测试集里的数据在训练集里有没有类似的。如果没有，那就手动添加一些针对性的数据，先加5个、10个试试，再观察效果。

另外，数据的风格统一是保证模型不“学偏”的根本。比如，如果答案都要求是JSON格式，那就确保所有样本都是json … ；如果SQL查询都要求明确列出字段（如select a, b, c），就不要混入select *。保持数据的“纯洁性”，模型才能稳定输出。

SFT的“暴力美学”：堆数据真的有用

虽然思维链（Chain-of-Thought）和少样本（Few-shot）提示能提升模型的推理能力，但在SFT阶段，直接用大量高质量的样本去堆砌它往往更有效。毕竟，标注思维链数据既耗时又麻烦。与其如此，不如集中精力生成更多高质量的样本，让模型通过海量学习直接掌握模式。虽然简单粗暴，但确实效果显著。

由于我们围绕SFT做文章，远远没到Scaling Law的边界。

调参策略：从大到小，逐步摸索

开始微调时，学习率（learning rate）和权重衰减（weight decay）是两个关键参数。通常可以从较大的值开始尝试。核心关注早期网络有没有崩。一方面可以加速网络收敛加速实验，另一方面从结果上来看，模型也有更好的鲁棒性。我们以学习率为例，可以从1E-3 开始测试，逐渐变小。

多任务数据：

如果是多任务场景，数据量多少合适？根据经验，每个垂直领域准备几百条左右的高质量数据，通常就能达到不错的效果。但是前提一定是要高质量，必要时可以加入人工审核。

循序渐进：先易后难

可以给数据集标上难易程度，让模型先学习简单的样本，再逐步挑战难题。这种“课程学习”（Curriculum Learning）的思路有助于模型更快地收敛。

小模型的“陷阱”与“解法”

对于小模型，如果只用单一类型的数据进行SFT，效果反而可能下降。这是因为小模型能力有限，泛化能力差，一旦数据分布和原始训练数据相差太大，它的基础能力就可能“崩盘”。解决办法要么是换用更大的模型，要么是在训练数据中加入一些由基础模型（base model）生成的通用数据，以保持其基础能力。

进阶技巧：用强化学习的“遗产”

如果你之前用GRPO等强化学习方法训练过模型，可以利用那个模型生成一批高质量的样本（rollout），挑选得分高的数据用于SFT。这样得到的SFT模型，效果通常比直接用原始数据训练的要好。而且，用这个SFT模型再进行下一轮的强化学习，效果也会更上一层楼。但注意，这个过程不能无限重复，因为越到后面，模型产生的答案会越来越单一，反而限制了其潜力。