2025_NIPS_White-Box Transformers via Sparse Rate Reduction

文章总结与翻译

一、主要内容

本文提出了一种基于“稀疏率降低（sparse rate reduction）”的统一理论框架，用于设计可解释的Transformer类深度网络。核心思路是将表示学习的目标定义为：将数据（token集合）的分布压缩并转换为支持在非相干子空间上的低维高斯混合分布，通过交替优化实现这一目标，最终推导出完全可数学解释的“白盒”网络架构CRATE（Coding RAte reduction TransformEr）。

具体来说，网络每层包含两个关键步骤：

1. 多头部空间自注意力（MSSA）模块：源于梯度下降步骤，用于最小化有损编码率，实现token集合的压缩；
2. 稀疏编码近似梯度步骤（ISTA）模块：对应Transformer中的MLP层，用于优化稀疏率降低目标的剩余部分，实现表示的稀疏化。

实验验证表明，CRATE在ImageNet等大规模数据集上的分类和迁移学习性能接近精心设计的ViT模型，同时保持了层级别可解释性——每层均对应稀疏率降低目标的增量优化步骤。

二、创新点

1. 理论统一：将Transformer、扩散模型、稀疏编码等看似无关的方法统一到“稀疏率降低”框架下，揭示了Transformer核心模块的数学本质；
2. 可解释性推导：证明多头自注意力层是压缩编码率的梯度下降步骤，MLP层是稀疏编码的近似优化步骤，打破了Trans