2025_NIPS_Counterfactual Memorization in Neural Language Models

论文核心总结与翻译

主要内容

该论文聚焦神经语言模型（LMs）的记忆问题，核心是区分“常见信息记忆”（如公共知识、重复模板文本）与“稀有信息记忆”（如敏感数据、特定事件细节）。通过提出“反事实记忆”（Counterfactual Memorization）概念，量化模型在训练集中包含或排除某一文档时的预测变化，进而识别稀有记忆实例；延伸出“反事实影响”（Counterfactual Influence），追踪训练样本对验证集和生成文本的预测影响。在RealNews、C4、Wiki40B:en三个数据集上验证，发现稀有记忆普遍存在，且与文本重复度呈负相关，训练轮次会提升记忆程度。

创新点

1. 提出反事实记忆定义，为区分常见与稀有记忆提供原则性框架，无需依赖启发式规则。
2. 延伸反事实影响概念，实现对模型预测信息来源的追溯，适用于验证集和生成文本。
3. 实证揭示记忆分布规律，发现重复文本记忆分数低、中等复杂度样本记忆最强、不同来源数据记忆特征差异显著等关键结论。

---

翻译部分

Abstract（摘要）

广泛应用于各类自然语言处理任务的现代神经语言模型，存在记忆训练数据中敏感信息的风险。理解这种记忆现象，无论在实际应用中还是学习理论视角下都至关重要。此前语言模型记忆研究中一个悬而未决的问题是，如何过滤掉“常见”的记忆内容。事实上，大多数记忆判定标准都与训练集中的出现频次高度相关，捕捉到的往往是常见短语、公共知识、模