文章总结与翻译
一、主要内容总结
本文针对现有大语言模型(LLMs)越狱攻击方法存在的突变多样性有限、适应性评估浅显、关键词检测脆弱等问题,提出了一种名为FORGEDAN的进化框架,用于生成语义连贯且高效的对抗性提示词,以突破对齐LLMs的安全防护。
核心背景
LLMs在各类场景中广泛应用,但存在被越狱攻击的安全风险——攻击者通过精心设计的提示词绕过模型的对齐防护,诱导其生成有害输出。现有攻击方法分为手动构建和自动化生成两类:手动方法依赖人力、可扩展性差;自动化方法(如GCG、AutoDAN-HGA)存在提示词无意义、突变多样性不足、语义评估肤浅等缺陷。
框架设计
FORGEDAN采用进化算法思路,包含三大核心模块:
- 多策略文本扰动模块:涵盖字符级(同形异义替换、字符插入/删除等)、词级(同义词替换、形态变化等)、句子级(句法重构、分句重排等)操作,提升对抗性提示词的多样性,同时保持语义连贯性。
- 语义适应性评估模块:基于预训练文本编码器(如RoBERTa)计算语义相似度,替代传统词法重叠指标,更精准地引导进化过程朝向符合有害意图的方向收敛。
- 双维度越狱判断模块:通过两个微调分类器分别评估模型的“行为合规性”(是否拒绝请求)和“内容有害性”(输出是否违规),仅当二者同时满足“合规+有害”时判定为越狱成功,降低误判率。
订阅专栏 解锁全文
727



被折叠的 条评论
为什么被折叠?



