-
研究背景:
大型语言模型(LLMs)在生成有害和非法内容方面存在脆弱性,这类攻击被称为“越狱”(jailbreaking)提示。越狱攻击通过精心设计的提示,诱使模型绕过安全对齐机制,生成有害内容。随着LLMs的普及和用户对这些模型的安全性要求提高,研究如何提高LLMs对越狱攻击的抵抗力变得尤为重要。 -
过去方案和缺点:
以往的研究主要集中在通过人类反馈的强化学习(RLHF)等方法对LLMs进行微调,以提高其安全性。然而,这些方法通常需要额外的训练,并且在模型压缩(如剪枝)方面对安全性的影响尚不明确。此外,模型压缩可能会影响模型的泛化能力和鲁棒性,但具体效果因压缩方法和实施细节而异。 -
本文方案和步骤:
本文提出了一种通过剪枝(pruning)来提高LLMs对越狱攻击抵抗力的方法。研究者首先创建了一个包含225个恶意任务的数据集,并将其插入到10种不同的越狱提示中。然后,使用Wanda剪枝算法对三个70亿参数的模型(LLaMA-2 Chat、Vicuna-1.3和Mistral Instruct v0.2)进行不同程度的剪枝。研究者比较了未剪枝模型和剪枝模型在面对恶意提示时的拒绝率,并分析了剪枝对模型注意力分布的影响。 -
本文实验和性能:
实验结果表明,适度剪枝(如剪去20%的参数)可以显著提高模型对越狱攻击的抵抗力,而不牺牲其在标准基准测试中的性能。特别是LLaMA-2 Chat模型在剪枝后表现出最高的抵抗力。此外,剪枝后的模型在处理恶意任务时更加集中注意力于任务相关标记。然而,当剪枝超过一定阈值时,模型的安全性会下降。