文章核心总结与创新点
一、主要内容
大型语言模型(LLMs)在安全对齐过程中常因过度保守而出现"过度拒绝"问题——对语义无害但含敏感关键词/语境的伪恶意指令(pseudo-malicious instructions)错误拒绝响应,严重影响用户体验。现有伪恶意指令收集方法(人工创建、自动重写、梯度搜索)存在可扩展性差、多样性不足、拒绝触发效果有限等缺陷。
为此,本文提出EVOREFUSE,一种基于进化算法的提示词优化框架,通过变异、重组、适应度评估和模拟退火四大核心组件,在保证指令语义无害的前提下,最大化LLM拒绝概率的证据下界(ELBO),自动生成多样化、高拒绝触发率的伪恶意指令。
基于该框架,作者构建了两个数据集:
- EVOREFUSE-TEST:含582条伪恶意指令,作为评估过度拒绝的基准,在9个LLM上的平均拒绝触发率比次优基准高85.34%,词汇多样性提升34.86%,响应置信度提高40.03%;
- EVOREFUSE-ALIGN:含3000条带响应的伪恶意指令,用于有监督微调(SFT)和直接偏好优化(DPO)。基于该数据集微调的LLAMA3.1-8B-INSTRUCT,过度拒绝率最高降低45.96%,且不牺牲安全性。
此外,研究通过归因分析揭示了过度拒绝的核心成因:LLM依赖敏感关键词的"捷径学习"(忽略整体无害语境),且Transformer早期层在安全判断中起关键作用。
订阅专栏 解锁全文
1091



被折叠的 条评论
为什么被折叠?



