2025_NIPS_LAYERIF: Estimating Layer Quality for Large Language Models using Influence Functions

一、文章主要内容总结

本文针对大型语言模型（LLMs）各层训练质量存在显著差异、现有评估方法多依赖模型中心启发式（忽略数据影响）的问题，提出了LAYERIF框架——一种基于影响函数（Influence Functions, IFs）的数据流驱动方法，用于量化LLM各层（Transformer块）的训练质量和任务相关性重要性。

核心目标

1. 突破传统模型中心方法的局限，结合数据和模型双视角评估层质量；
2. 将层质量评估结果应用于两个实际场景：LoRA-MoE架构中的专家分配、LLM剪枝中的层稀疏度分配，提升模型性能。

关键方法

1. 层特异性影响分数计算：通过隔离每层的梯度和海森矩阵，计算训练样本对验证损失的敏感性，聚合得到每层的累积正影响分数（反映层训练成熟度）；
2. 任务适配映射：针对不同下游任务设计转换函数，将原始影响分数映射为专家分配数量或层剪枝稀疏度；
3. 实验验证：在Mistral-7b-v0.1、Gemma-7b模型上，基于GLUE、QA、NLP零样本任务数据集，与ALPHALORA、MOLA、ALPHAPRUNING等基线方法对比。

核心结果

1. LoRA-MoE专家分配：最佳LAYERIF配置比最优基线平均准确率提升1.61%，且在不同专