Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models

文章主要内容总结

本文聚焦于大型语言模型（LLMs）中存在的“捷径学习”问题——模型依赖训练数据中的领域特定相关性（而非可迁移的推理能力）实现高置信度预测，导致在新任务或分布上性能下降。为解决这一问题，作者提出一种基于神经元修剪的微调方法，核心是识别并移除与领域特定机制（DSM）相关的神经元，以增强模型的泛化能力。

具体而言，该方法利用积分梯度（Integrated Gradients）量化神经元对高置信度预测的影响，定位那些对特定数据集性能贡献过大但缺乏稳健推理能力的神经元；通过选择性修剪这些神经元，迫使模型依赖更通用的表示。实验在多个选择题基准（如XNLI、MMLU、SST2等）上验证了方法的有效性，在LLaMA、Mistral、Qwen等模型上均实现了性能提升，且优于现有非修剪适配方法。

创新点

1. 靶向神经元修剪策略：不同于传统修剪低重要性参数的思路，本文聚焦于修剪“高影响但有害”的神经元（即驱动领域特定机制的DSM神经元），直接消除捷径学习的根源。
2. 高效的识别与修剪流程：使用积分梯度（IG）识别神经元，无需标签信息，仅需少量样本（最少5-10个）即可完成；仅在单个MLP层（gate proj层）进行修剪，计算成本远低于全模型微调。
3. 少样本适配能力：在缺乏大量标注数据的场景下仍有效，解决了传统微调对数据量的依赖问题。
4. 跨模型与跨任务的普适性：在多种模型架构（LLaMA 3.1、Mistral、Qwen2.5等）和任务（自然语言推