2025_NIPS_Emergence of Linear Truth Encodings in Language Models

文章核心总结与创新点

主要内容

本文聚焦大型语言模型（LLMs）中线性真值编码的涌现机制，通过理论分析、简化模型实验和预训练模型验证，系统解答了“为何训练中会出现真值子空间”和“推理时如何计算该子空间”两大核心问题：

1. 核心假设：提出“真值共现假设（TCH）”——自然文本中，真实陈述更可能与其他真实陈述共现，虚假陈述更可能与其他虚假陈述共现。这种统计相关性使模型推断潜在真值变量能降低语言建模损失。
2. 简化模型验证：构建单层Transformer玩具模型，采用四元组序列（x y x’ y’）的合成数据集（x/x’为主题，y/y’为属性，按概率ρ决定属性是否为真实值），发现模型训练存在两阶段动态：
   • 第一阶段（快速记忆）：模型短期内记住主题-属性的个体关联，对真实和虚假序列均预测真实属性；
   • 第二阶段（真值编码）：长期训练后，模型学习到线性分隔边界，能区分真实与虚假序列，并利用该编码调整对后续属性预测的置信度。
3. 关键机制：层归一化（Layer-Norm）是线性真值编码涌现的关键，其通过调整表示的方差实现真实与虚假序列的线性分离；模型的键值关联记忆电路则为真值编码提供了基础。
4. 真实场景验证：在自然语言数据集（CounterFact）和预训练模型（LLAMA3-8B、Pythia-6.9B）上验证了TCH的有效性，发现：
   • 基于TCH构建的自然语言数据集训