2025_NIPS_The Rise of Parameter Specialization for Knowledge Storage in Large Language Models

文章核心总结与翻译

一、主要内容

本文聚焦大型语言模型（LLMs）中知识存储的参数特化现象，通过多维度实验与分析，揭示了模型性能与参数存储模式的内在关联：

1. 研究背景：现有研究多关注模型性能优化，却缺乏对知识如何在模型参数（尤其是MLP层）中高效存储的微观探索，而MLP层已被证实是事实知识存储的核心组件。
2. 核心发现：
   • 更先进、性能更强的LLM具有更高的参数特化程度，即MLP层的参数向量更集中编码相似类型知识；较弱模型则知识分布分散，需更多参数存储单一知识。
   • 参数特化程度与模型性能（SpecWiki基准）呈强相关性（皮尔逊系数0.92、斯皮尔曼系数0.93），且模型规模越大、训练迭代越深入，参数特化程度越高。
   • 高频知识在模型中具有更高的参数特化程度，对应的模型准确率也更高；低频知识则特化程度低、准确率低。
3. 实验验证：
   • 构建了基于维基百科的SpecWiki基准数据集，涵盖525个不同频率的概念，包含选择题和开放式问答两种任务。
   • 对20个开源LLM（涵盖LLaMA、Qwen、Gemma等系列）进行分析，验证参数特化与性能的相关性。
   • 通过四种微调实验（全向量、部分高激活向量、互补向量、随机向量），证实增强参数特化能提升知识任务性能并减少幻觉生成。