2025_NIPS_The geometry of hidden representations of large transformer models

一、文章主要内容总结

该研究聚焦大型Transformer模型隐藏表示的几何与统计特性，通过分析内在维度（ID）和邻域组成，探究不同任务（蛋白质语言建模、图像重建）、不同规模Transformer模型的表示演化规律，核心内容如下：

1. 表示演化的阶段性特征：Transformer的隐藏表示演化呈现明确 phases，且跨任务（蛋白质、图像）存在共性：
   • 第一阶段（早期层）：数据流形扩张，ID快速上升至峰值，邻域结构频繁重组；
   • 第二阶段（中间层）：ID显著收缩，形成平台期（蛋白质模型）或局部最小值（图像模型），此阶段语义信息（蛋白质远程同源性、图像类别标签）最丰富；
   • 第三阶段（末期层）：ID趋于稳定或形成第二个浅峰（图像模型），邻域结构再次重组，语义信息有所下降（因模型专注于输入重建任务）。
2. 关键发现：
   • ID曲线是语义复杂度的有效指标，中间层ID相对最小值/平台期对应最优语义表示；
   • 模型训练过程中，ID曲线的形成分两步：先出现早期ID峰值，再通过压缩形成低维语义表示；
   • 该规律适用于不同规模、不同任务的Transformer（ESM-2系列蛋白质模型、iGPT系列图像模型），且与卷积网络的语义表示存在定量一致性。
3. 实用价值：提出无监督策略——通过ID曲线的相对最小值定位语义最丰富的中间层，为下游任务（蛋白质同源性搜索、图像分类）提供更优表示，无需依赖标