Scalable Multi-Stage Influence Function for Large Language Models via Eigenvalue-Corrected Kronecker

文章主要内容

本文聚焦于大规模语言模型（LLMs）的可扩展多阶段影响函数研究，旨在解决预训练数据对微调后模型预测的归因问题。核心内容包括：

1. 多阶段影响函数框架：提出一种基于“预训练-微调”范式的影响函数，将微调模型的预测归因于预训练数据，通过引入参数空间 proximity constraint（邻近约束）解决输出层不匹配问题。
2. EK-FAC参数化近似：利用特征值校正的克罗内克分解（EK-FAC）对Hessian矩阵进行高效近似，显著降低计算复杂度，使影响函数适用于数十亿参数的LLMs。
3. 候选样本选择策略：基于语义相似性的无监督KNN方法筛选候选训练样本，避免遍历全量数据，提升计算效率。
4. 实验验证：在dolly-v2-3b等真实LLMs上验证了方法的有效性，结果表明EK-FAC在扩展性和准确性上优于传统方法，且MLP参数对影响估计贡献更大。

文章创新点

1. 多阶段影响函数的扩展：首次将影响函数从单阶段训练扩展到“预训练-微调”多阶段场景，支持全参数微调范式，解决了传统方法无法追溯预