论文阅读-Pruning for Protection: Increasing Jailbreak Resistance in Aligned LLMs Without Fine-Tuning

1. 研究背景：
   大型语言模型（LLMs）在生成有害和非法内容方面存在脆弱性，这类攻击被称为“越狱”（jailbreaking）提示。越狱攻击通过精心设计的提示，诱使模型绕过安全对齐机制，生成有害内容。随着LLMs的普及和用户对这些模型的安全性要求提高，研究如何提高LLMs对越狱攻击的抵抗力变得尤为重要。

2. 过去方案和缺点：
   以往的研究主要集中在通过人类反馈的强化学习（RLHF）等方法对LLMs进行微调，以提高其安全性。然而，这些方法通常需要额外的训练，并且在模型压缩（如剪枝）方面对安全性的影响尚不明确。此外，模型压缩可能会影响模型的泛化能力和鲁棒性，但具体效果因压缩方法和实施细节而异。

3. 本文方案和步骤：
   本文提出了一种通过剪枝（pruning）来提高LLMs对越狱攻击抵抗力的方法。研究者首先创建了一个包含225个恶意任务的数据集，并将其插入到10种不同的越狱提示中。然后，使用Wanda剪枝算法对三个70亿参数的模型（LLaMA-2 Chat、Vicuna-1.3和Mistral Instruct v0.2）进行不同程度的剪枝。研究者比较了未剪枝模型和剪枝模型在面对恶意提示时的拒绝率，并分析了剪枝对模型注意力分布的影响。

4. 本文实验和性能：
   实验结果表明，适度剪枝（如剪去20%的参数）可以显著提高模型对越狱攻击的抵抗力，而不牺牲其在标准基准测试中的性能。特别是LLaMA-2 Chat模型在剪枝后表现出最高的抵抗力。此外，剪枝后的模型在处理恶意任务时更加集中注意力于任务相关标记。然而，当剪枝超过一定阈值时，模型的安全性会下降。