2025_NIPS_Doubly Robust Alignment for Large Language Models

文章核心总结与翻译

一、主要内容

本文聚焦大语言模型（LLMs）的人类反馈强化学习（RLHF）对齐问题，针对现有算法在偏好模型、奖励模型或参考策略存在误设时性能不佳的痛点，提出了双稳健偏好优化（DRPO）算法。该算法融合直接方法（DM）和重要性采样（IS）的优势，在偏好评估和策略优化中均实现双稳健性，即只需偏好模型或参考策略之一正确设定即可保证一致性，同时具备半参数效率。通过理论分析证明了DRPO在有限样本下的均方误差边界、性能差距边界及次优性差距优势，并在IMDb、TL;DR和Anthropic HH数据集上验证了其在偏好模型误设、参考策略误设场景下的稳健性能，优于PPO、DPO及其变体。

二、创新点

1. 提出双稳健偏好评估估计器：同时满足双稳健性（偏好模型或参考策略正确即收敛）和半参数效率（达到最小均方误差），且通过成对数据复用降低方差。
2. 设计DRPO优化算法：基于上述估计器，在不依赖BT模型假设的情况下仍保持一致性，BT模型成立时次优性差距小于PPO和DPO。
3. 理论与实证双重验证：严格证明了算法的统计性质，在三类数据集上验证了其对多种模型误设的稳健性，且计算效率与现有算法相当。

三、核心部分翻译（Markdown格式）

Abstract

本文研究了基于人类反馈的强化学习（RLHF），旨在使大语言模型与人类偏好对齐。尽管RLHF已展现出良好前景，但许多算法对潜在偏好模型（如布拉德利-特里模型