Adversarial Preference Learning for Robust LLM Alignment

文章主要内容总结

本文提出了对抗偏好学习（APL）框架，旨在提升大型语言模型（LLMs）对抗对抗性攻击的鲁棒性。传统基于人类反馈的强化学习（RLHF）方法存在人工标注成本高、对抗攻击场景覆盖不足以及奖励偏差等问题。APL通过以下核心组件实现改进：

1. 基于内在偏好概率的直接危害度量：无需外部评估系统，通过模型生成有害/安全响应的概率直接评估漏洞。
2. 条件生成攻击者：自动生成多样化的对抗性提示，覆盖更广的输入空间。
3. 迭代闭环反馈框架：攻击者与防御者通过迭代交互持续发现和修复漏洞。

实验在Mistral-7B和Llama-3-8B模型上进行，结果表明APL显著降低攻击成功率（ASR最高下降65%），提升无害性胜率（83.33%），同时保持竞争力的实用指标（如MT-Bench得分6.59）。消融实验验证了迭代训练和内在奖励设计的有效性。

文章创新点