从“删掉数据”到“学回来”：预训练数据过滤到底改变了什么？

很多人第一次听到“删除训练数据”，会把它理解成给模型按下了忘记键。英国 AI Security Institute（AISI）最近对 ESM-2 蛋白质语言模型做的实验，给出了一个更准确的答案：过滤训练数据可以压低某一类能力，但这不等于能力永远消失。

先说结论

预训练数据过滤影响的是模型在训练阶段接触到的学习材料。AISI 从零训练了 8M 到 3B 参数的 ESM-2 模型，把病毒蛋白数据从预训练集里排除，再用三类任务测试。过滤后，模型在病毒蛋白上的表现明显下降，而在非病毒蛋白上的表现大体保持。这说明过滤可以有选择地削弱目标能力。

但研究人员随后用被排除的病毒蛋白数据继续微调，模型的相关能力又恢复了。最大模型的恢复实验使用的 H100 算力约为 80 美元。这个数字只属于这组蛋白质模型实验，不能拿来估算通用大模型的恢复成本。

数据过滤到底做了什么

预训练可以先理解成“让模型反复阅读大量材料，学习其中的规律”。蛋白质模型读的不是汉字，而是氨基酸序列。序列中的排列关系和蛋白质结构、功能有关，模型通过预测被遮住的氨基酸等任务学习这些规律。

如果训练材料中完全没有某类序列，模型自然较少接触这类模式。AISI 把病毒蛋白设为“forget domain”，把其他蛋白设为“retain domain”，再分别评估。这样做的好处是，研究者不只看总分，而是观察目标能力下降时，其他能力有没有一起被损坏。

这也是普通人理解“删数据”的关键：它不是把一个知识条目从数据库里擦掉，而是改变模型形成参数规律时接触到的材料。

为什么能力还能恢复

模型没有接触过某类数据，不代表它的所有相关结构都从参数里消失。相近数据可能仍然保留一些线索，公开数据也可能让后续微调重新建立目标能力。AISI 的实验说明，过滤提高了恢复能力的成本，却没有形成坚固的单独防线。

这和手机删除一张照片不完全一样。模型的能力是许多参数和模式共同形成的，不是一个可以单独搬走的文件。若后续有人拿到权重和原始数据，继续训练就可能改变这些参数。

对模型训练有什么启发

第一，数据治理必须发生在预训练、后训练和访问控制等多个阶段。只在训练前删一次数据，不能确保开放权重模型长期保持同样的能力边界。

第二，评估不能只看模型总体分数。要同时准备目标能力测试集和保留能力测试集，观察“该降的是否下降、该留的是否保留”。

第三，必须记录数据版本和过滤范围。AISI 的实验设置了从窄到宽的排除层级。过滤越窄，可能越能保留一般能力，也可能越容易被相近数据恢复；过滤越宽，保护可能更强，却可能伤害其他能力。

与蒸馏有什么关系

这项实验不是蒸馏实验。它研究的是预训练数据过滤和后续微调恢复。蒸馏通常讨论教师模型如何给学生模型提供输出、概率分布或示范，二者不能因为都涉及“能力变化”就混为一谈。

如果团队准备做蒸馏，仍然可以借鉴这里的评估思路：把要迁移的能力单独测，把不希望带过去的能力也单独测，并且用没有进入训练的数据做独立验收。

数据过滤更像是在决定“教材里放什么”，而蒸馏更像是在决定“老师用什么信号教学生”。两者可以出现在同一个项目中，但承担的任务不同。

最后检查清单

• 是否明确过滤的是哪一类数据？
• 是否有目标能力和保留能力两套测试？
• 是否记录了数据版本、过滤规则和模型版本？
• 是否测试过继续微调后的恢复情况？
• 是否把特定实验数字误写成所有模型的通用结论？

真正可靠的“忘记”结论，不能只看训练集里删掉了什么，还要看模型在新数据、恢复训练和独立评测中的表现。

参考：AISI，《Pretraining data filtering in open-weight biological models》
https://www.aisi.gov.uk/blog/pretraining-data-filtering-in-open-weight-biological-models