2025_NIPS_Mechanism Design for LLM Fine-tuning with Multiple Reward Models

文章核心总结与翻译

一、主要内容

本文聚焦LLM微调中的多偏好聚合问题，将其建模为机制设计问题，核心解决多主体（如不同部门、机构）提供偏好时的策略性误报问题。文章以最大化社会福利并附加正则化约束的SW-Max训练规则为核心，分析了激励兼容性、支付规则设计、鲁棒性及实际可实现性，通过理论推导和实证实验验证了机制的有效性。

二、创新点

1. 证明仅使用SW-Max训练规则时，多数情况下如实报告偏好并非最优策略，凸显支付规则的必要性。
2. 扩展VCG支付机制，提出仿射最大化者支付规则（p^AFF），实现SW-Max规则的占优策略激励兼容（DSIC）和个体理性（IR），并明确支付等价性的充分条件与支付规则的必要条件。
3. 验证机制在输入存在扰动时的近似DSIC特性，证明误报收益上限，保障实际应用中的鲁棒性。
4. 提出两种启发式方法（中间模型复用、早停训练）解决支付规则的高效计算问题，平衡理论保证与计算成本。
5. 通过真实LLM微调实验，证实误报策略的收益性及所提机制对如实报告的激励效果。

---

三、关键部分翻译（Markdown格式）

Abstract

大语言模型（LLM）微调以聚合多种偏好已引起广泛研究关注。随着聚合算法的发展，一种潜在的经济场景应运而生：向具有不同偏好的主体提供微调服务。在这种情况下，主体可能从策略性误报其偏好中获益，但这会损害聚合性能。本文通过将该问题