模型训练完，怎样判断它真的学会了？从Figma公开的评测方法讲起

训练日志里的loss降了，模型回答也更像样了，是不是就能交付？如果任务只看表面，这个判断很容易提前作出；一旦需要准确执行修改，问题就会暴露。

Figma在北京时间10月30日公开的一篇技术文章里，举了一个很直观的区别：设计可以很精致，却没有完成要求；按钮外观看起来正确，也可能使用了错误的组件。

这对第一次做模型训练的人很有参考价值。评估的对象应该是目标任务有没有完成，而不是答案是否更漂亮。本文据其公开方法拆解评估思路，文中的检查表是教学设计，不是已经运行的实验结果。

先拆开“看起来不错”这个含糊评价

Figma公开的方法，将设计结构检查、视觉评判与专家校准结合起来。它没有把设计质量当成一项无法讨论的整体感受，而是区分对齐、对比度、遮挡、请求履行等具体维度。

这个拆分适用于很多任务。格式正确不代表事实正确，事实正确不代表回答了用户的问题，完成目标也不代表没有破坏其他内容。

以设计修改为例，用户要求“把定位标签放到照片左上角，其他内容保留”。输出可能有四类结果：根本无法加载；能够加载但标签位置错了；标签位置对了但遮住主体；标签和主体都正确，却意外改掉原有文字。

如果只给一个“整体还不错”的分数，就很难知道训练究竟改善了哪一项。下一轮调整也会失去方向：该补格式样本，还是补空间约束，或者补保留原内容的要求？

为每道题写清楚必须完成与禁止破坏的内容

一张可用的评估卡，可以从用户请求、输入材料、允许变化、必须保留、通过条件和失败类型几个部分开始。

继续沿用定位标签的教学情境，可以把评估卡具体写成下面这样。它是人工设计的示例，不是Figma公开的完整内部评分规则。

检查维度	这道题要检查什么	失败时怎样记录
输出结构	文件能否解析，修改能否应用	解析失败、无法应用
请求履行	定位标签是否出现于指定位置	缺少标签、位置不符
可读性	标签文字是否可辨认	文字截断、对比不足
内容保留	原有主要文字与图片主体是否保留	非目标内容被改变
布局影响	是否遮挡主体或超出画布	遮挡、溢出
交付负担	是否需要重试与人工修正	记录次数、耗时与修正内容

通过条件要能够执行检查。能通过结构或程序判断的，例如文件能否解析、指定组件是否存在，优先采用确定性检查；需要看画面的，例如是否遮挡关键内容，再安排视觉检查。

这不是说视觉模型可以代替全部人工。它也可能受表达方式或画面特征影响，因此需要抽样复核与校准，尤其要看“评委判好但实际不可用”的案例。评委的分数也应当被验证。

验证“没改错”，和验证“改对了”同样重要

初学者往往只检查新功能是否出现。例如要求新增一个按钮，最后画面里有按钮，就算成功。

然而修改任务还有保留约束。新增按钮时如果挤掉说明文字，或改变了已有操作入口，结果依然可能不合格。目标区域与非目标区域应当分别检查，不能只用一次全局视觉印象替代。

对应到文本任务，修改措辞时金额、日期与人物不应被悄悄改变；对应到结构化任务，新字段出现了，旧字段也不能无故丢失。这些保留要求，应写进样本和评估规则，而不是等上线出错后再补。

还要设计“不需要修改”的题目。输入已经符合要求时，模型是否能保持原样或说明无需变更，也能反映它是否理解任务。否则，系统可能把每次请求都解释成必须做出明显变化。

测试集要有普通题，也要有会暴露短板的题

只有最容易的成功案例，往往会给人一种过早完成的错觉。可以把测试任务按场景分组，例如简单移动、长文字布局、不同画布大小、需要组件约束的修改，以及条件不足的请求。

分组后分别报告结果，才能看见某类任务是否仍然很弱。整体表现提高，并不保证高风险场景同步改善；如果主要增益都来自简单题，用户实际遇到的难题可能没有变化。

还应保留一组日常回归题，检查新模型有没有损害原来能完成的工作。新增能力与旧能力保持，都属于交付要求。不能只展示新版本最擅长的几个例子，就把退化藏在平均分里。

对于从教师模型生成的训练数据，更要避免把教师给出的答案直接当作所有测试的真值。教师可能出错，学生也可能学到这种错误。独立标准与人工核验，能够减少两者在同一处错得很一致却被当作成功的情况。

比较训练前后，要让条件尽量相同

至少保留原始模型或现有工作流作为基线，让它与新模型面对相同输入、工具权限、生成限制和评估规则。否则，上下文变长、工具更强或提示词改变，都可能解释一部分提升。

如果输出有随机性，应考虑对部分任务重复运行，查看稳定性，而不是只保存最好的一次。记录失败样本和运行条件，通常比只汇报一个漂亮数字更有复盘价值。

速度与成本也应包含完整流程。一次生成便宜，但需要多次重试或大量人工返工，总成本可能更高；单次响应快，却经常给出不可用结果，也不等于完成任务更快。

实际评估时，可以同时记录有效完成情况、重试次数、总耗时和人工修正需求。具体采用什么阈值，要根据用途与错误代价设定，不能把一份教学检查表说成全行业统一验收标准。

不要从一家公司的案例，推出自己的项目一定成功

Figma披露，早期工作采用了监督微调，并使用较大的教师模型尝试编辑，再通过确定性校验与视觉评判筛选候选，生成流程还能够根据反馈修正。

文章也提到，后续使用了更强底座并投入强化学习等方向。其产品表现来自模型、工具和运行系统等多项改进，不能把效果全部归结为一个训练步骤，更不能照搬其样本规模作为自己的起步门槛。

对入门者，更值得复用的是问题拆解方式：先规定什么算完成，再分别检查结构、效果与保留约束，用独立测试比较训练前后，最后把错误代价、速度和返工一起算进去。这样得到的结论也许没有“模型全面变强”响亮，却能明确告诉你，它学会了哪一项，还欠哪一步。