2025_NIPS_Tracr: Compiled Transformers as a Laboratory for Interpretability

文章总结与翻译

一、主要内容

本文介绍了一款名为Tracr的编译器，其核心功能是将人类可读的RASP（Restricted Access Sequence Processing Language）程序编译为标准的仅解码器Transformer模型。RASP作为面向Transformer计算的领域特定语言，能清晰描述序列处理逻辑，Tracr通过特定编译流程，让生成的Transformer模型具备已知的计算结构。

核心内容架构

1. 背景基础：铺垫了Transformer架构（含多头注意力、MLP层、残差流等核心组件）、RASP语言特性（序列操作、逐元素操作、选择-聚合操作等）以及机械可解释性与叠加态（superposition）的相关概念，为Tracr的设计提供理论支撑。
2. Tracr编译流程：通过六个关键步骤实现RASP到Transformer权重的转换，包括构建计算图、推断序列操作值、将序列操作独立转换为模型块、分配组件到层、构建模型、组装权重矩阵，期间引入Craft作为“汇编语言”简化权重构建过程。
3. 实例验证：展示了Tracr编译的多个模型实例，如计算令牌频率（frac_prevs程序）、排序（sort_unique程序及支持重复元素的排序程序）、括号平衡检查（dyck-n程序）等，验证了其在多种算法任务上的可行性。
4. 压缩与叠加态研究：通过梯度下降对编译后的模型进行压缩，将高维残差流映射到低维空间，研究