2025_NIPS_Positional Fragility in LLMs: How Offset Effects Reshape Our Understanding of Memorizat...

论文核心总结与翻译

一、主要内容

本文聚焦大型语言模型（LLMs）的记忆风险问题，通过从零预训练1B/3B/8B参数模型（基于83B tokens语料，含公共领域书籍模拟版权内容），发现并验证了“偏移效应”和“位置脆弱性”两大核心现象。研究揭示模型记忆行为与前缀在上下文窗口中的位置强相关，且记忆失败会导致文本退化；同时提出通过调整敏感内容在上下文窗口中的位置、优化批次大小等方法，在不损害模型性能的前提下缓解记忆风险，为LLM的合规负责任发展提供了新路径。

二、创新点

1. 发现“偏移效应”：上下文窗口起始处的短前缀最易触发逐字记忆，前缀长度增加或偏移量增大时记忆效果显著下降。
2. 揭示“位置脆弱性”：模型过度依赖上下文窗口早期token作为检索锚点，对位置偏移高度敏感。
3. 建立记忆与文本退化的关联：偏移或低曝光频率下，模型记忆失败会产生重复、语义不连贯的退化文本。
4. 提出新型缓解策略：将敏感内容移至上下文窗口深处，可有效抑制可提取记忆，且不影响生成质量。
5. 发现批次大小的影响：固定计算预算下，更小批次、更频繁更新能适度降低记忆风险。

---

三、核心部分翻译（Markdown格式）

Abstract（摘要）

大型语言模型已知会记忆训练数据的部分内容，存在侵犯版权的风险。为系统评估这一风险，我们从零开始预训练了参数规模为10亿/30亿/80亿的语言模型，训练语料包