2025_NIPS_SAFEX: Analyzing Vulnerabilities of MoE-Based LLMs via Stable Safety-critical Expert Ident

一、文章主要内容总结

该研究聚焦基于混合专家（MoE）架构的大型语言模型（LLMs）的安全对齐问题，核心围绕MoE特有的“位置脆弱性”展开——即模型的安全对齐行为高度依赖特定专家模块。为此，研究者提出了名为SAFEX的分析框架，通过三步流程（专家统计、专家识别、专家验证）系统识别、表征和验证安全关键专家，并将其划分为两个功能组：有害内容检测组（HCDG）和有害响应控制组（HRCG）。

研究通过线性探测（验证HCDG的内容识别能力）和专家掩码实验（验证HRCG的响应控制作用），在Mixtral、Qwen、DeepSeek等主流MoE模型上验证了位置脆弱性的普遍性：例如在Qwen3-30B-A3B模型中，仅禁用12个安全关键专家就使拒绝率下降22%，且MoE模型比稠密模型更易受越狱攻击。此外，研究者基于SAFEX识别的专家，通过LoRA轻量微调与权重合并策略，在不进行全模型重训练的情况下，有效提升了模型对 adversarial prompts 的拒绝能力，为MoE模型的安全干预提供了高效路径。

二、文章创新点

1. 首次定义并系统分析MoE特有的“位置脆弱性”：明确提出安全对齐行为依赖特定专家模块这一MoE架构独有的安全挑战，填补了现有研究对MoE内部安全对齐机制理解的空白。
2. 提出SAFEX分析框架：整合基于稳定性的专家选择（SES）算法，实现安全关键专家的鲁棒识别与功能分类（HCDG/HRCG），并通过线性探测和专家掩码实验完成定量验证，兼具解释性与可靠性。
3. 实证验证主流MoE模型的位置脆弱性