Multi-Stage Influence Functions with EK-FAC for LLM Pretraining Attribution (arXiv:2505.05017)

### 文章主要内容
本文聚焦于大规模语言模型（LLMs）的可扩展多阶段影响函数研究，旨在解决预训练数据对微调后模型预测的归因问题。核心内容包括：
1. **多阶段影响函数框架**：提出一种基于“预训练-微调”范式的影响函数，将微调模型的预测归因于预训练数据，通过引入参数空间 proximity constraint（邻近约束）解决输出层不匹配问题。
2. **EK-FAC参数化近似**：利用特征值校正的克罗内克分解（EK-FAC）对Hessian矩阵进行高效近似，显著降低计算复杂度，使影响函数适用于数十亿参数的LLMs。
3. **候选样本选择策略**：基于语义相似性的无监督KNN方法筛选候选训练样本，避免遍历全量数据，提升计算效率。
4. **实验验证**：在dolly-v2-3b等真实LLMs上验证了方法的有效性，结果表明EK-FAC在扩展性和准确性上优于传统方法，且MLP参数对影响估计贡献更大。

### 文章创新点
1. **多阶段影响函数的扩展**：首次将影响函数从单阶段训练扩展到“预训练-微调”多阶段场景，支持全参数微调范式，解决了传统方法无法追溯预训练数据影响的问题。
2. **高效计算框架**：结合EK-FAC参数化和语义相似性筛选，突破了LLMs中逆Hessian向量积（iHVP）的计算瓶颈，使影响函数可应用于30亿参数模型。
3. **参数贡献分析**：发现MLP模块在影响估计中起主导作用，为大规模模型的分析提供了实用的参数剪枝策略，降低计算成本。
4. **实际应用价值**：通过案例研究证明该方法可解释LLMs生成内容的知识来源，为评估模型响应的可靠性和减少幻觉提供了新途径。

### 摘要翻译
预训练大型语言模型（LLMs）通常通过微调来适应下游任务。由于