2025_NIPS_Reinforcement Learning with Backtracking Feedback

文章主要内容与创新点总结

一、主要内容

该研究针对大型语言模型（LLMs）在对抗性攻击和分布内错误下的安全鲁棒性问题，提出了一种名为“带回溯反馈的强化学习（RLBF）”的框架。其核心目标是让LLMs在生成过程中动态识别并纠正安全违规行为，同时保留模型的基础实用性。

核心构成

1. 改进的监督微调（SFT）数据生成策略（BSAFE+）：通过在连贯、安全的文本中注入安全违规片段，生成高质量训练数据，为回溯机制提供精准监督，避免传统方法生成的训练样本质量低、分布偏移等问题。
2. 高效回溯机制：模型检测到安全违规时，生成“[违规类别] + [BACKTRACK_BY_X]”的简洁指令（X为需回溯的token数量），仅丢弃违规片段并从安全节点继续生成，无需复杂的重写流程，效率显著提升。
3. 基于评论者反馈的强化学习阶段：引入LLM安全评论者实时监控生成输出，识别违规类别和范围并计算奖励信号，通过Group Relative Policy Optimization（GRPO）优化模型策略，鼓励模型主动规避违规或有效纠正错误。

实验验证

在多种基准测试（LMSYS、AdvBench、HEx-PHI等）和模型规模（Gemma2、LLaMA3系列）中，RLBF显著降低了对抗性攻击成功率（如中间填充攻击、GCG攻击、解码参数操纵等），同时在MMLU、BBH、GSM8K等学术基准上保持了与原始指令调优模型相当