2025_NIPS_Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting

一、文章主要内容总结

该研究聚焦于大型语言模型（LLMs）监督微调（SFT）中普遍存在的“灾难性遗忘”问题——即模型在适配特定领域任务时，会显著退化已有的通用能力。通过对比SFT与在线强化学习（on-policy RL）的学习机制，研究发现两者存在核心的数据分布差异：RL的训练数据源于模型自身生成，与模型内部信念一致，仅包含高概率置信区或高熵探索区的token；而SFT依赖外部监督数据，易出现“置信冲突”（Confident Conflicts）——即低概率、低熵的token，此时模型对自身预测高度自信，却被迫拟合与先验知识相悖的标注，进而引发破坏性梯度更新，导致遗忘。

为解决这一问题，研究提出熵自适应微调（EAFT） 方法：通过token级熵作为软门控机制，动态调节训练损失——对低熵的“置信冲突”token下调权重以抑制破坏性梯度，对高熵的不确定token保留高权重以保障领域适配。在数学、医学、智能体工具使用三大领域，基于Qwen和GLM系列（4B-32B参数）的实验表明，EAFT在匹配SFT目标领域性能的同时，显著缓解了通用能力退化，且具有领域无关性、超参数鲁棒性和计算高效性。

二、文章创新点

1. 揭示遗忘根源：首次明确“置信冲突”（低熵、低概率token）是SFT导致灾难性遗忘的核心原因，通过可视化分析和掩码实验验证了该机制。
2. 提出熵自适应损失函数：区别于传统基于概率或KL散度的方法，EAFT引入token级熵作为门控信号，实现“冲突抑制”与“知识获取”的动态平衡，无需离散阈值，避免丢弃有效训练数据。<