本文探讨将AI模型在真实漏洞发现（如PHP远程代码执行漏洞）中的表现转化为可验证的安全研究能力训练与评估方法。核心在于将‘会安全研究’拆解为定位线索、复现验证、影响约束和修复建议四个可观测子任务，并强调训练前后需锁定工具条件、构建抗泄露测试集、依据证据而非文本气势评分，最终形成可证伪的窄任务交付结论，支撑模型安全能力的可信迁移。
PHP 在10月21日发布安全更新，修复两个可能导致未认证远程代码执行的严重漏洞。OpenAI 的披露说明称，Calif 使用 GPT‑5.6 Sol 发现了其中一个关键问题，Wiz 也独立发现并报告了两个漏洞，PHP 维护者主导了修复与发布。
对于准备做安全任务蒸馏的开发者，真正值得研究的是：这样一次成果，究竟给学生模型提供了什么可以学习、又可以验证的能力？
拿到一份正确报告，只证明拿到了一个结果。它并不直接告诉我们模型在什么帮助下找到问题，也不能证明另一款小模型经过训练就能重现研究过程。要做验收，第一步是把“会安全研究”拆成可观察的任务。
先给学生划一块够小的考场
下面是一套教学性实验设计，尚未运行，不是本次 PHP 研究团队的训练方案。
假设目标是让学生帮助整理漏洞线索，而不是自主发现任意新漏洞。输入包括获得授权的代码片段、版本说明和隔离测试环境的观测记录；输出要求是指出疑点、引用依据、列出待验证条件，并决定是否交给人工。
这个任务可以拆成四段：定位线索、检查复现依据、约束影响判断、形成修复验证建议。每段都有不同的错误。定位阶段可能把正常逻辑误认成缺陷；复现阶段可能把环境故障当漏洞；影响判断可能从崩溃跳到远程执行；最后还可能把补丁下载写成修复完成。
如果把四段压成一个“报告是否像专家写的”分数，前面一处漂亮推断就可能盖住后面的证据缺口。
因此，验收表应当分别记录定位是否有依据、结论是否超出观测、缺失信息是否被识别、最终建议是否处于授权范围。并不要求每条线索最后都成为漏洞，正确排除也应当有位置。
训练前后的对照，要把工具条件锁住
可以安排三组：A组是只读固定输入的原始学生；B组是接入指定资料与工具的原始学生；C组是经过教师文本监督训练、使用与B组相同资料和工具的学生。A与B帮助观察外部支持的影响，B与C才更接近训练增益的比较。各组仍要使用相同测试任务，不能把难题只留给某一组。
如果训练后学生能查官方公告，训练前学生只能闭卷作答，结果不能单独归因于参数学习。比较时应尽量固定代码上下文、工具权限、总时间预算和人工提示次数，另外报告训练、推理与人工核验的开销。
教师生成的解释可以作为监督微调材料，这是一种常见的文本行为迁移做法；它不等于直接匹配教师的 logits。也不要把教师展示的解释视为其内部计算的完整记录。实验究竟迁移了什么，应按实际监督信号表述。
PHP 这次公开材料提供的是发现和修复的案例，没有给出小模型蒸馏实验，更没有提供学生训练前后的成绩。新闻只能引出实验问题，不能充当实验结果。
测试集不能只是把漏洞报告换个问法
已公开的 CVE 适合做流程演示，却很难独自承担未知能力测试。学生可能在预训练、检索或提示调试时见过结论。
建议按项目、缺陷家族和时间划分数据，把同一缺陷的不同描述、补丁前后版本放进同一数据组，再决定它属于训练还是测试。否则同一个答案可能从多个入口泄漏进考场。
还要准备经独立核验、在本次任务范围内不满足漏洞条件的相似代码，缺少关键配置的信息、不能复现的可疑日志，以及已被修复但版本标记不直观的样本。它们分别检查误报、追问、停止判断和版本证据使用。只考已知阳性，会鼓励学生把每道题都答成“发现高危”。
涉及真实系统时，测试必须使用授权环境。数据中的密钥、用户请求与内部路径应先处理，公开报告也要核对许可和教师服务条款；能够阅读不代表可以直接用于训练。
评分要对着证据，不能对着气势
可以记录有效线索比例、关键条件遗漏率、无依据影响结论比例、正确转人工比例，以及完成一个有效任务所需时间。各指标应展示分母、样本构成和错误案例，不预设一个看似权威的统一合格线。
对“发现能力”的评测，还需要由独立验证者确认问题。让同一个教师既出题又判学生正确，容易把教师的共同错误当成绩。
不同提示措辞可以辅助检查稳定性，但不算新的独立任务。统计时应按独立样本报告结果，必要时给出不确定区间，避免同一道题重复运行很多次后，被包装成大量新问题上的成绩。
重复运行也有意义。同一个输入偶尔答对，不等于可稳定使用。τ-bench 在工具交互任务中强调最终状态和多次运行可靠性，这提供了评测思路，但它本身不是安全漏洞发现基准，不能把其成绩搬来证明安全能力。
安全场景还有一种不能被平均分掩盖的错误：学生大部分解释正确，却给出了越权操作建议。此类情况要单列并触发人工接管，而不是与措辞不够清晰混在一起扣分。
一个可以被证伪的交付结论
最后的报告不必写“学生已经拥有专家能力”。更有用的表述是：在某组未参与训练的授权样本中、固定资料和工具条件下，学生对哪一种窄任务表现如何，在哪些情况下仍要停止或交接。
还应留下基座版本、数据版本、训练配置、测试清单和失败记录，以便后续更新能与本次比较。模型更小并不会自动带来总成本下降，人工复核变多、上下文变长或回退频繁，都可能改变账单和延迟。
发现一次严重漏洞是一项重要成果。把它变成可迁移能力，需要的则是另一条证据链：学生面对新材料做出了什么、依据在哪里、结果由谁确认。蒸馏验收就从这三个问题开始。
扫一扫
323
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
