2025_NIPS_Steering Information Utility in Key-Value Memory for Language Model Post-Training

文章核心总结与翻译

一、主要内容

文章针对语言模型（LM）后训练阶段未充分利用预训练知识的问题，提出了轻量级方法InfoSteer。该方法将Transformer的前馈网络（FFN）层视为键值记忆系统，通过前向传播干预和反向传播熵正则化两种策略，引导模型更高效地调用预训练阶段存储的记忆向量。在Qwen、Gemma、Llama三大模型家族的15个分布内（ID）和分布外（OOD）任务中验证表明，InfoSteer不仅能持续提升模型性能，还能让模型自适应分配信息资源，对语义丰富的 tokens 投入更多表征能力，同时减少对过渡性 tokens 的资源消耗，增强模型可解释性。

二、创新点

1. 提出键值记忆视角下的信息引导框架，将FFN层解读为“键-值”存储结构，为后训练阶段的知识调用提供全新思路。
2. 设计两种轻量且易集成的引导策略：前向干预调整低权重键系数，反向正则化最大化键分布熵，无需额外预训练或大幅修改模型结构。
3. 实现性能与可解释性双提升，既改善了分布内和分布外任务的泛化能力，又通过信息通量（IF）分数揭示了模型token级别的信息利用模式。
4. 验证了跨模型、跨任务的通用性，在1-9B参数规模的不同模型上均取得稳定收益，尤其在知识密集型和推理类任务中效果显著。

---

三、核心部分翻译（Markdown格式）

Abstract

语言模型（LM）的最新进展标志着后训练的重要性日益