文章核心总结
该研究针对大语言模型(LLM)对齐中依赖海量人工标注数据、易受标注噪声影响的问题,提出了Stackelberg博弈偏好优化(SGPO)框架及其实例化算法SSAPO。核心是将对齐建模为政策(领导者)与最坏情况偏好分布(追随者)的双人Stackelberg博弈,在ϵ-Wasserstein球内保证O(ϵ)有界遗憾,实现对标注噪声的鲁棒性。SSAPO仅用2K人工标注“种子”偏好(约为标准标注量的1/30),通过迭代自标注新提示并结合分布鲁棒重加权,在多轮迭代后就在AlpacaEval、MT-Bench等基准上取得了优于GPT-4的表现,大幅降低了对昂贵人工标注的依赖。
主要创新点
- Stackelberg博弈建模:首次将LLM偏好对齐转化为双人Stackelberg博弈,证明了ϵ-Wasserstein偏好偏移下鲁棒均衡的存在,提供O(ϵ)有界遗憾的理论保证,解决了传统方法(如DPO)遗憾随分布偏移线性增长的问题。
- 鲁棒自标注算法(SSAPO):结合少量种子标注与迭代式合成标注,通过分布鲁棒重加权削弱噪声标注的影响,无需依赖大规模人工数据即可实现高效对齐。
- 数据高效性突破:仅使用2K种子偏好(约3.3%的标准人工标注量),在多基准测试中超越依赖更多人工标注的方法(如DPO、Iter DPO、SPA),验证了理论框架的实践有效性。
订阅专栏 解锁全文
1332



被折叠的 条评论
为什么被折叠?



