SafePTR: Token-Level Jailbreak Defense in Multimodal LLMs via Prune-then-Restore Mechanism

文章主要内容总结

本文聚焦多模态大语言模型（MLLMs）的越狱攻击防御问题，提出了一种名为SafePTR（Safe Prune-then-Restore） 的无训练防御框架。

现有防御方法（如图像转文本翻译、安全提示、多模态安全调优）存在明显缺陷：易受文本驱动的多模态越狱攻击、过度防御导致模型效用下降、训练开销大且泛化能力弱。通过深入分析，作者发现MLLMs的不安全行为主要由早期-中间层中不到1%的有害令牌引发，这些令牌通过语义偏移绕过模型的安全机制。

基于此，SafePTR采用“先修剪后恢复”机制：

1. 有害令牌修剪（HTP）：在脆弱的早期-中间层，通过计算令牌与安全对齐指令的语义距离，筛选并移除最具偏离性的令牌，抑制有害信号；
2. 良性特征恢复（BFR）：在后续的“安全层”中，选择性恢复良性特征，以保持模型的推理能力和效用。

实验表明，SafePTR在3个MLLMs（LLaVA-1.5、MiniGPT-4、DeepSeek-VL）和5个基准测试上表现最优，在降低越狱攻击成功率（ASR）的同时，保持了模型在良性任务上的效用，且无需额外训练开销。

创新点

1. 机制分析创新：首次深入揭示多模态越狱的根源——早期-中间层中少数（<1%）有害令牌通过语义偏移触发不安全行为，为防御设计提供了精准靶点；
2. 方法创新：提出无训练