论文阅读-Pruning for Protection: Increasing Jailbreak Resistance in Aligned LLMs Without Fine-Tuning

研究者通过创建恶意任务数据集和使用Wanda剪枝算法,发现适度剪枝能显著提高大型语言模型对越狱攻击的抵抗力,同时保持标准任务性能。剪枝有助于模型注意力集中,简化结构和增强鲁棒性,但过度剪枝可能降低安全性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 研究背景:
    大型语言模型(LLMs)在生成有害和非法内容方面存在脆弱性,这类攻击被称为“越狱”(jailbreaking)提示。越狱攻击通过精心设计的提示,诱使模型绕过安全对齐机制,生成有害内容。随着LLMs的普及和用户对这些模型的安全性要求提高,研究如何提高LLMs对越狱攻击的抵抗力变得尤为重要。

  2. 过去方案和缺点:
    以往的研究主要集中在通过人类反馈的强化学习(RLHF)等方法对LLMs进行微调,以提高其安全性。然而,这些方法通常需要额外的训练,并且在模型压缩(如剪枝)方面对安全性的影响尚不明确。此外,模型压缩可能会影响模型的泛化能力和鲁棒性,但具体效果因压缩方法和实施细节而异。

  3. 本文方案和步骤:
    本文提出了一种通过剪枝(pruning)来提高LLMs对越狱攻击抵抗力的方法。研究者首先创建了一个包含225个恶意任务的数据集,并将其插入到10种不同的越狱提示中。然后,使用Wanda剪枝算法对三个70亿参数的模型(LLaMA-2 Chat、Vicuna-1.3和Mistral Instruct v0.2)进行不同程度的剪枝。研究者比较了未剪枝模型和剪枝模型在面对恶意提示时的拒绝率,并分析了剪枝对模型注意力分布的影响。

  4. 本文实验和性能:
    实验结果表明,适度剪枝(如剪去20%的参数)可以显著提高模型对越狱攻击的抵抗力,而不牺牲其在标准基准测试中的性能。特别是LLaMA-2 Chat模型在剪枝后表现出最高的抵抗力。此外,剪枝后的模型在处理恶意任务时更加集中注意力于任务相关标记。然而,当剪枝超过一定阈值时,模型的安全性会下降。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值