2025_NIPS_Confidence Regulation Neurons in Language Models

文章核心总结与翻译

一、主要内容

文章聚焦大型语言模型（LLMs）的置信度调节机制，深入研究了两种关键神经元：已被初步发现的熵神经元（entropy neurons）和新识别的令牌频率神经元（token frequency neurons）。通过多模型实验（覆盖GPT-2、LLaMA2 7B等）和因果中介分析、奇异值分解等方法，揭示了它们通过不同机制调节模型预测置信度的过程，并以“归纳任务”（检测和延续重复子序列）为案例验证了其实际作用。

二、创新点

1. 明确两种专用置信度调节神经元：证实熵神经元和令牌频率神经元是LLMs中负责置信度校准的核心组件，填补了内部校准机制研究的空白。
2. 揭示熵神经元作用机制：发现其通过写入非嵌入矩阵（unembedding matrix）的有效零空间，借助最终层归一化（LayerNorm）调节输出熵，且对预测结果影响极小。
3. 发现令牌频率神经元功能：该类神经元通过按令牌对数频率比例调节logit，使模型输出分布趋近或远离单字分布，尤其在高不确定性场景发挥作用。
4. 验证跨模型通用性与实际应用：证实熵神经元在不同架构、不同参数规模模型中普遍存在，并通过归纳任务案例，揭示其与归纳头（induction heads）的交互机制，说明其可缓解过度自信导致的损失峰值。

---

三、关键部分翻译（Markdown格式）

Abstract

尽管大型语言模型（LL