Goodfire VPD挑战SAE：大模型可解释性“方法论之争”谁能胜出？-优快云博客

可解释性领域：Anthropic一家独大与Goodfire的挑战

过去两年，若关注大模型的可解释性研究，会发现该领域基本由Anthropic定义「进步」。从2023年的Toy Models of Superposition，到2024年的“金门大桥实验”，再到2026年4月的情绪概念研究，以及最近推出的NLA（Natural Language Autoencoder，自然语言自编码器），Anthropic让模型直接用人话解释自己的思考过程，其方法论也作为行业标准扩散。然而，在Anthropic新工具密集发布时，小公司Goodfire于四月底发布论文《Interpreting Language Model Parameters》。Goodfire创始人Tom McGrath曾是Anthropic和DeepMind可解释性团队成员，他走出团队后选择了不同道路，认为可解释性核心在于拆解模型权重本身，而非模型运行时的激活。在论文中，他们用VPD（Verified Parameter Decomposition，对抗参数分解）方法，将一个67M的小语言模型拆成几万个可单独命名和修改的计算单元。

可解释性的三级台阶

要了解Goodfire和SAE派的争论，需理清可解释性领域的技术路线，大致有三条，可看作三级台阶。

第一条路是Probing / Steering Vectors（「线性探针」和「操纵向量」），2020年前后出现。以Anthropic的情绪向量论文为例，他们让Claude写不同主题故事，提取激活向量，通过求均值和差得到「挫败」相关方向，加到模型推理激活中可调节情绪。此路关键是找到有用方向，不声称找到模型真实内部结构。

第二条路是SAE（Sparse Autoencoder，稀疏自编码器），是过去两年可解释性的主角。Anthropic的金门大桥Claude等标志性论文都用此方法。SAE想梳理激活空间所有概念，准备概念字典来近似还原激活。该方法产出高，Anthropic用它在Claude 3上找到上千万个可命名「特征」。SAE派还进行电路分析，试图回答模型计算结果的过程，如Anthropic在预测下一个词时追踪信息流。2026年5月7日，Anthropic推出NLA，可看作「换了瓶颈材料的SAE」，解决了SAE「特征不好懂」的问题，但还原能力不如SAE。

第三条路是不研究运行时，直接拆机器本身。前两条路是激活路线，而SAE存在「特征分裂」问题，即找到的「特征数量」由字典大小决定，这对circuit分析杀伤力大。Goodfire挑战的就是SAE特征稳定性不足的问题，VPD用权重做砖，与SAE的区别如同神经解剖学和功能核磁共振加脑电图的差别。

逆向雕刻的两次折戟与VPD的破局

理解大模型可解释性的标准流水线，有助于看懂技术突破。流水线由字典、拆解与激活、消融三个核心组件构成。字典是拆解后得到的概念对照表，SAE中词条是概念，VPD中多是机械动作。拆解与激活是让数据流穿过模型，拆分权重并监控激活。消融是通过「拔电源」测试字典保真度。

参数路线曾面临绝境，2024年的APD败在质检信号嘈杂，2025年的SPD引入消融但存在问题。直到2026年4月，Goodfire发布VPD，做对两件关键决策。

第一战是对抗消融。SPD随机质检可能因其他齿轮的「代偿效应」得出错误结论，VPD通过梯度反向传播构造刁钻上下文，孤立待测齿轮，若拔掉电源机器崩溃，则证明该齿轮是核心。VPD能剔除八成冗余参数，重建网络后输出性能几乎无损。

第二战是频率最小化。SAE只惩罚激活宽度，导致特征分裂。VPD在损失函数中加入「建档税」，对激活频次进行非线性惩罚，使模型合并切碎的特征。容量扫描图显示，VPD找到的分量数量由机器物理结构决定，与测量工具无关。

被看见的机器内脏

容量扫描图确立了齿轮的物理真实性，接下来看机器内部的咬合机制。

在Transformer架构中，主流观点认为注意力头各干各的，但VPD发现并非如此。VPD拆解注意力机制时，发现一对特定齿轮q316和k329，它们分布在6个注意力头中，控制「看前一词」行为，这颠覆了传统直觉，体现了模型内部的分布式协同。

在语言学方面，英语语法对it有实指代词和虚词主语的区分，VPD提取出判别齿轮q308、k218和k485，它们构成机械语法判别器，重现了人类总结的语法法则，这是激活路线做不到的。

从外围观测器到深层手术刀

VPD的价值在于重新定义可解释性的终极意义，可对模型本体做外科手术。传统特征操纵只改变数据流瞬间的影子，模型物理结构不变，而VPD可直接改动实体齿轮。

这意味着三件事：一是能力的物理移除，VPD路线的对齐是拆掉支持有害行为的物理齿轮，与RLHF不同；二是可被审计的因果链，VPD的电路图基于固化齿轮，可精确追溯模型行为；三是模型的可缝合编辑，VPD实验证明可精确识别和剥离核心齿轮，未来模型微调可能采用外科操作。

炼金术的黄昏

VPD是「AI科学化」运动的信号弹。过去十年，AI工程进展领先于科学解释，类似炼金术。但最近一年，可解释性、训练动力学和深度学习都在向科学化收敛。可解释性从SAE贴标签到VPD拆齿轮，训练动力学将LLM训练与经典热力学对应，深度学习也在追求理论化。这三条线为AI找基本单元、量化规律和机制框架，有望让AI从经验走向科学，今天的我们可能是最后一代仅凭经验让模型涌现智能的人。