本文探讨面向安全任务的模型蒸馏数据工程规范，强调在教师模型输出之外必须保留四类关键对象：任务输入、原始材料、教师输出及生成条件、验证者补充标签与证据。重点指出需避免证据缺口被掩盖、失败与修订轨迹不可覆盖、脱敏须保障语义完整性、抽检需规避平均率误导，并建立可追溯的版本与关联记录机制，以支撑模型错误归因与数据修正。
安全报告很容易被加工成一组问答：这里有什么问题，答案是什么，怎么处理。可一旦准备训练学生模型，原报告里不起眼的版本、环境和验证状态，可能比那句结论更重要。
10月21日 PHP 发布的安全公告就很典型。公告列出两个 CVE，说明不同服务方式的风险，并给出修复版本与旧版本供应商支持的处理方向。如果只抽取“PHP有严重漏洞，升级即可”，学生既不知道输入依据，也无法判断某台服务器的真实状态。
因此，安全任务的数据工程需要保留的不只是教师答案，还包括答案能够成立的证据。
一条样本，至少分开四类对象
以下是面向防御任务的数据设计建议，不是已执行的训练项目，也不是 PHP 团队公开的数据格式。
第一类是任务输入：用户当时提供了什么、缺少什么、允许做什么。第二类是原始材料：公告、代码版本或经授权取得的日志。第三类是教师输出及生成条件。第四类是验证者补充的标签与证据。
这四类不要混成一段最终对话。教师说“版本受影响”，是一个待确认判断；人工核对供应商公告后确认，才有相应的验证记录。若后者没有发生，数据就不能替教师把状态升级为已证实。
| 对象 | 建议保存 | 主要解决的问题 |
|---|---|---|
| 来源 | 原始地址、抓取时间、内容摘要校验值、许可说明 | 当时到底看到了哪一版材料 |
| 生成 | 教师标识、可见版本、提示模板、采样设置、工具观测 | 输出在什么条件下产生 |
| 核验 | 核验人或流程、证据位置、结论、未决项 | 谁凭什么确认这个判断 |
| 训练 | 数据版本、纳入理由、转换规则、排除原因 | 最终给学生学了什么 |
内容校验值可以帮助确认材料是否变化，却不能替代来源真实性、训练许可或核验正确性的判断。训练输入与评测答案也应分开管理，不能为了保留元数据，把事后结论一并拼进学生的题面。
服务只暴露模型别名时，应记录这个事实，不能捏造底层权重版本。保留调用时间和返回元数据能改善追溯，但不能保证以后绝对复现当次输出。
把证据缺口保留在标签里
以一个假设样本为例：用户只说“服务器显示 PHP 8.1，是否已修好”。正确的数据目标不该直接标成“未修复”。PHP 官方公告提到，旧版本可能由发行版或长期支持供应商回移补丁，单看上游版本号不能覆盖所有情况。
更合理的学生目标是请求包来源和供应商公告，再给出条件判断。这里要保留的标签包括“信息不足”“需补充供应商证据”，而不是人为补一条确定答案。
再如，原始材料只说明测试进程崩溃，就不能把影响标签填成“已证实未认证远程执行”。两者之间需要额外证据。若使用语言模型协助打标签，应把机器提议与人工确认分开存储，并对高影响结论逐条核验。
这一步决定学生将来学到的是按证据回答，还是看到几个关键词就提高严重程度。
成功、失败与修订不能互相覆盖
训练库常常只保留最顺眼的最终答案。但安全研究中的被否定线索、环境不适用和修复前后差异，同样值得学习。
建议让样本有父子关联：原始候选、核验退回、补充材料、最终接纳分别留存。不要用最终文本覆盖最初输出，否则很难追查学生某个习惯来自教师、人工改写还是格式转换。
也不宜把失败轨迹原样当正向示范。可将其转成“缺陷在哪里、应补什么证据”的纠错任务；若保留完整历史，要明确每步的状态和最终目标，避免学生把失败操作继续当推荐行为。
修复验证还需要区分补丁已发布、软件包已获取、服务已运行新组件、验证已完成。它们是不同状态。只有前两项的记录，不能打上最后一项的标签。
脱敏不能只做字符串替换
日志中的密钥、内部域名、请求正文和用户信息，应在进入教师或训练库前评估。尽可能使用经批准的模拟记录；必须保留真实上下文时，控制访问并明确用途。
简单将所有路径替换成同一个占位符，可能破坏样本之间的关系；只删除明显密钥，又可能遗漏能够识别租户的组合信息。脱敏以后要重新检查任务是否还成立，并记录替换规则的版本。
资料已公开，也不代表转载、训练和再分发权利完全相同。新闻全文、代码、教师生成内容分别受何种许可或条款约束，需要单独确认。尚未确认的样本可以进入候选区，不能无标记地流入训练集。
抽检不能被平均通过率安慰
对影响结论、授权边界和修复状态等高代价字段，适合加强核验；普通格式问题可以抽检。具体比例由风险和资源确定，没有一个适用所有团队的固定数字。
抽样要覆盖不同教师版本、来源、错误类型与生成日期。否则大量简单样本通过，会掩盖小批高风险样本的系统性标错。发现某一转换规则有问题时，应能够定位受影响的数据批次并重新生成。
还应在划分数据前做同源分组：同一个 CVE 的多篇转载、不同语言说明和补丁讨论，可能共享核心答案。把它们随机分到训练与测试，会让“泛化成绩”变成记忆检查。
教师文本经过筛选后用于监督微调，可以是行为蒸馏的一部分；只有数据入库，没有学生训练与独立测试，仍然只是准备阶段。匹配教师概率分布的经典蒸馏则需要另一类监督信号，不能因文件叫作蒸馏数据就混为一谈。
如果某个来源后来被撤回或发现标错，应能定位受影响样本并停止继续使用。删除数据文件不会自动抹去已训练模型的影响；还需要评估哪些模型版本接触过它，决定是否重训、修订或增加回归检查。这是留版本与关联记录的另一项实际用途。
一套好的证据结构，最终应支持这样一次追问：学生这句话错了，能否找到它学过的来源、教师条件与人工修改？能追到这些环节，数据集才有修正的抓手。
扫一扫
559
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
