文章核心总结与翻译
一、主要内容
该研究聚焦于小语言模型(SLMs)的偏好对齐问题,针对直接偏好优化(DPO)仅提供二元胜负监督、难以指导低容量小模型学习细粒度偏好的缺陷,提出了基于教师价值的知识蒸馏方法(TVKD)。
- 背景与问题:DPO通过 pairwise 比较实现语言模型与人类偏好对齐,无需额外滚动和奖励模型训练,但二元监督缺乏偏好强度信息,对小模型效果有限;现有蒸馏方法多模仿教师行为,忽视奖励建模,易导致误差累积和与人类偏好的错位。
- 核心方法:TVKD从DPO训练的教师模型中提取价值函数,构建满足势能奖励塑形(PBRS)的辅助奖励项,将其融入标准DPO训练框架。该辅助奖励项能保留DPO的全局奖励结构和最优策略,为模型提供细粒度的序列级软指导,无需额外滚动操作。
- 实验验证:在MT-Bench、AlpacaEval等多个基准测试中,TVKD在0.5B至3B参数的小模型上均实现性能提升,优于DPO及其变体、传统知识蒸馏等基线方法,在 pairwise 比较、跨领域泛化等方面表现突出,且对教师模型质量和超参数具有较强鲁棒性。
二、创新点
- 提出TVKD框架,首次将教师模型的价值函数作为其内部奖励模型的代理,为偏好蒸馏提供细粒度软监督,弥补了DPO二元反馈的不足。
- 设计满足势能奖励塑形(PBRS)的辅助奖励项,理论上保证不改变DPO的最优策略,解决了教师信息与原DPO奖励结构的冲突问题。
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



