2025_NIPS_Adaptive Defense against Harmful Fine-Tuning for Large Language Models via Bayesian Data S

文章核心总结与翻译

一、主要内容

文章针对大语言模型（LLM）微调即服务中的“有害微调”安全风险，提出了一种无需攻击模拟的自适应防御框架——贝叶斯数据调度器（BDS）。现有防御依赖预先生成攻击样本构建鲁棒性，存在无法应对未知攻击、适应性差的局限，而BDS将防御问题转化为贝叶斯推理问题，通过学习数据点的安全属性后验分布，在微调过程中对数据加权约束，从而削弱有害数据的影响。文章还提出了贝叶斯标量调度器和摊销贝叶斯神经调度器两种实现，后者可高效迁移至新数据无需重训。实验验证了BDS在不同攻击场景、数据集、模型架构下的优越性，高有害数据比例（0.9）时性能提升74.4%，平均提升超50%。

二、创新点

1. 首次将有害微调防御建模为贝叶斯推理问题，无需攻击模拟即可实现自适应防御，突破了传统方法对已知攻击模型的依赖。
2. 提出两种BDS实现，其中摊销贝叶斯神经调度器基于摊销贝叶斯学习，解决了标量调度器的扩展性和迁移性问题，新数据可直接通过前向传播获取权重。
3. 设计基于损失的自适应数据加权机制，结合softmax变换实现双向权重更新，精准区分良性与有害数据，平衡模型安全性与有用性。
4. 实验覆盖多数据集、多模型架构、多攻击类型，验证了方法在高有害比例、分布外攻击等复杂场景下的鲁棒性，性能显著超越现有SOTA基线。

---

<