【论文阅读】Defending Large Language Models Against Jailbreak Attacks via Layer-specific Editing

论文：Defending Large Language Models Against Jailbreak Attacks via Layer-specific Editing

作者：Wei Zhao, Zhe Li, Yige Li, Ye Zhang, Jun Sun

发表：arxiv

摘要

大型语言模型 (LLM) 越来越多地被广泛应用于现实世界的应用中。尽管LLM的表现令人印象深刻，但最近的研究表明，即使通过人类反馈的强化学习或监督微调进行调整，LLM也很容易受到故意设计的对抗性提示的影响。虽然现有的防御方法侧重于检测有害提示或通过各种手段减少有害响应的可能性，但基于 LLM 内部机制来保护 LLM 免受越狱攻击仍然很大程度上尚未探索。在这项工作中，我们研究了llm如何响应有害提示，并提出了一种称为特定层编辑（LED）的新颖防御方法，以增强llm抵御越狱攻击的能力。通过 LED，我们揭示了llm早期层中存在几个关键的安全层。然后，我们表明，将这些安全层（以及一些选定的附加层）与已识别有毒层的解码安全响应重新对齐，可以显着提高llm针对越狱攻击的一致性。各种 LLM（例如 Llama2、Mistral）的广泛实验表明了 LED 的有效性，它可以有效防御越狱攻击，同时保持良性提示下的性能。代码

贡献：

1. 我们发现，只有LLM的某些早期阶段在识别有害提示方面发挥着至关重要的作用。一旦这些层被移除，LLM就会产生有害的反应，就好像对齐被取消一样。

2. 我们观察到，虽然越狱提示会导致LLM 生成有害响应，但并非所有层都被成功攻击。某些层显示出解码拒绝令牌的概率相对较高，这表明越狱攻击可能仅限于更改最终响应而不是所有层的中间输出。

3. 我们提出了一种新颖的越狱防御方法，LED，它利用有针对性的模型编辑来增强LLM抵御对抗性攻击的安全性，同时保持良性提示的性能。

4. 跨各种 LLM（例如 Llama2、Mistral）的广泛实验表明，LED 可以有效防御各种最先进