2025_NIPS_Alignment of Large Language Models with Constrained Learning

文章核心总结与翻译

一、主要内容

本文聚焦大语言模型（LLM）的约束对齐问题，目标是在最大化主奖励目标的同时，满足次要效用的约束条件（如安全性、无害性等）。针对现有拉格朗日方法收敛性差、非迭代对偶方法无法达到参数空间最优等问题，提出迭代对偶对齐方法CAID，通过交替更新LLM策略（拉格朗日最大化）和对偶变量（对偶下降）实现优化。理论上证明了该方法在分布空间与参数空间的原始-对偶间隙边界，量化了学习到的LLM策略在目标和约束函数上的最优间隙；实验上在PKU-SafeRLHF和Anthropic HH-RLHF数据集验证了方法在约束满足度和目标-约束权衡上的优越性。

二、创新点

1. 提出迭代对偶对齐方法CAID，将单轮对齐扩展为多轮迭代，利用单轮训练的暖启动优势实现逐步优化。
2. 建立了严格的理论保证，量化了原始-对偶间隙以及策略在奖励和效用函数上的最优间隙，证明对偶基方法可找到近优约束LLM策略（受参数化间隙限制）。
3. 设计了模型基（MoCAID）和偏好基（PeCAID）两种实用实现，适配不同数据场景，且在单约束和多约束任务中均表现出更优的约束满足度和目标权衡能力。

三、核心部分翻译（Markdown格式）

Abstract

我们研究了约束对齐问题中最优大语言模型（LLM）策略的求解，目标是在满足次要效用约束的同时最大化主奖励目标。尽管基于拉格朗日的LLM策略搜索在约束对齐中被广泛应用，但迭代原始-对偶