Adversarial Preference Learning for Robust LLM Alignment

文章主要内容总结

本文提出了对抗偏好学习（APL）框架，旨在提升大型语言模型（LLMs）对抗对抗性攻击的鲁棒性。传统基于人类反馈的强化学习（RLHF）方法存在人工标注成本高、对抗攻击场景覆盖不足以及奖励偏差等问题。APL通过以下核心组件实现改进：

1. 基于内在偏好概率的直接危害度量：无需外部评估系统，通过模型生成有害/安全响应的概率直接评估漏洞。
2. 条件生成攻击者：自动生成多样化的对抗性提示，覆盖更广的输入空间。
3. 迭代闭环反馈框架：攻击者与防御者通过迭代交互持续发现和修复漏洞。

实验在Mistral-7B和Llama-3-8B模型上进行，结果表明APL显著降低攻击成功率（ASR最高下降65%），提升无害性胜率（83.33%），同时保持竞争力的实用指标（如MT-Bench得分6.59）。消融实验验证了迭代训练和内在奖励设计的有效性。

文章创新点

1. 无需外部反馈的内在危害评估：利用模型自身的概率分布直接计算危害得分，避免依赖外部分类器或奖励模型，减少奖励篡改风险。
2. 生成式攻击者的多样性探索：通过条件生成模型自动生成语义保留但更具攻击性的提示，突破手动设计或梯