文章主要内容和创新点
主要内容
本文针对大型语言模型(LLMs)易受越狱攻击(恶意指令绕过安全约束)的问题,提出了一种基于细致推理的安全对齐框架ARMOR(Aligning Secure and Safe Large Language Models via Meticulous Reasoning)。
当前基于推理的安全对齐方法(如system-2对齐)存在推理过程随意、未遵循人类结构化推理逻辑(先识别用户真实意图,再评估风险)的缺陷,导致难以抵御隐藏恶意意图的复杂越狱攻击。ARMOR通过三步结构化推理解决这一问题:
- 检测潜在越狱策略:识别用户指令中可能用于隐藏恶意意图的策略;
- 提取核心意图:剥离欺骗性表述,获取用户真实需求;
- 基于政策的安全分析:针对提纯后的意图,依据安全政策判断风险并生成响应。
实验表明,ARMOR在对抗最先进的自适应越狱攻击(如AutoDAN-Turbo、Adversarial Reasoning)时表现出极强的鲁棒性,且在多个安全基准测试中优于现有推理型对齐模型,同时保留了模型的通用能力。
创新点
- 结构化推理替代随意思维链:采用与人类对齐的三步推理(策略分析→意图提取→安全分析),解决现有方法因推理混乱导致的易受攻击问题;
- 构建结构化推理数据集:通过改写恶意行为、标
订阅专栏 解锁全文
538



被折叠的 条评论
为什么被折叠?



