强化学习之KTO

原创 已于 2025-10-14 13:32:17 修改 · 988 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大模型

于 2025-02-25 13:42:04 首次发布

0. 背景

当前的对齐方法（例如 RLHF（基于人类反馈的强化学习）和 DPO（直接偏好优化））依赖昂贵的偏好数据并且对数据不平衡和噪声较为敏感，而人类的决策过程往往受到损失厌恶和风险规避等认知偏差的影响。基于此，作者提出了 KTO（卡尼曼-特沃斯基优化），希望通过一种更符合人类心理的方式，简化对齐过程，并在极度不平衡的数据和噪声情况下仍能有效优化模型，推动大规模对齐任务的实践应用。

1. 前景理论中的效用函数

在前景理论中，人类的效用函数由两个部分组成：价值函数（value function）和加权函数（weighting function）。论文关注的主要是价值函数，它描述了相对某一参考点的结果对人类的主观价值的影响。

公式如下：

在这里插入图片描述
其中：

  • zzz
了解本专栏 订阅专栏 解锁全文 超级会员免费看
强化学习的奇妙三剑客：DPO、ORPO 与 KTO
步子哥的博客
02-17 455
强化学习（Reinforcement Learning, RL）是一门充满魅力的科学，它让机器从经验中学习，像人类一样通过试错改进自己的行为。而在这片广阔的研究领域中，Direct Preference Optimization (DPO)、Odds Ratio Preference Optimization (ORPO) 和 Kullback-Leibler Target Optimization (KTO) 这三种方法如同三把利剑，正在改变我们对强化学习的理解与应用。
KTO：将模型对齐视为前景理论优化
最新发布
11-27 89
Kahneman 与 Tversky 的前景理论指出，人类以一种有偏但结构明确的方式感知随机变量（1992）；例如，人类表现出明显的损失厌恶倾向。我们展示了，在使大语言模型（LLM）对齐于人类反馈的目标函数中，许多此类偏差已被隐含地纳入——这些目标函数（如 DPO）优于交叉熵最小化的部分原因，在于它们属于我们称之为人类感知损失函数（human-aware losses, HALOs）的函数族。然而，这些方法所假设的人类效用函数，仍然与前景理论文献中的形式存在差异。我们基于 Kahneman-Tversky
《第一篇》大模型强化学习中的 PPO、DPO、KTO、ORPO 全解析
guoguozgw的博客
05-29 2518
本文系统解析了大语言模型微调中的四种强化学习算法：PPO、DPO、KTO和ORPO。PPO通过约束策略更新实现稳定优化，DPO直接利用人类偏好数据避免奖励建模，KTO在DPO基础上加入KL正则项，ORPO则专注于离线数据训练。文章详细介绍了各算法的原理、数据格式、数学公式和简化实现，并对比了它们的适用场景和特点。这些方法为LLM优化提供了不同路径，从传统的在线策略优化到更高效的离线偏好学习，帮助开发者根据具体需求选择合适的技术方案。
强化学习进化之路(PPO-＞ReMax&RLOO-＞DPO-＞KTO-＞ODPO-＞ORPO-＞simPO)
weixin_36378508的博客
11-27 8001
DPO，PPO，ORPO，ODPO，KTO, simPO
KTO: Model Alignment as Prospect Theoretic Optimization
Brilliant_liu的博客
03-21 5196
本论文介绍了一种名为Kahneman-Tversky Optimization（KTO）的方法，用于利用前景理论将大型语言模型（LLMs）与人类反馈对齐。这种方法基于考虑了人类偏好（如厌恶损失）的人类意识损失函数（HALOs）。论文表明，流行的对齐方法如DPO、SLiC和PPO-Clip隐含地模拟了人类的偏执，使它们也成为HALOs。与目前的方法不同，KTO直接最大化模型生成的效用而不是人类偏好的对数似然。
强化学习-DPO/KTO
zouzs1919的博客
04-23 532
的表达式，然后将该reward表达式代入了以Bradley-以PPO为优化目标产生最优Policy的条件下推出了。模型建模的最大似然估计中，即可得到DPO的Loss。
KTO偏好效用函数的学习解读
liliang199的专栏
06-20 595
Q(Y′|x)作用在Y‘的分布，Y'和Y关联: R → Rv在(0, ∞)区间非递减或单调递增，在这里参考点是策略模型相对于参考模型的分布的KL散度。直觉上如果模型增加偏好样本的奖励时，KL散度惩罚也会增加，损失不会增加，这将使模型学习，如何使输出被偏好的同时，奖励增加但是保持KL惩罚项平稳甚至降低。KTO不需要奖励模型打分，可能不能对样本间微小的偏好差异给出精确反馈，但KTO更加契合样本不均衡和相对缺乏的现实，在很多任务中优于DPO。输入(x, y)，y可能是好输出，也可能不好输出。
LLM —— 强化学习（RLHF-PPO和DPO）学习笔记
STAR GAME
08-28 4621
LLM中强化学习 RLHF部分学习
《第二十五篇》为什么越来越多 RL 用 KTO？原理 + 代码带你搞懂
guoguozgw的博客
06-06 1963
KTO（Knowledge Transfer Optimization）是一种创新的语言模型微调方法，通过结合知识蒸馏和强化学习思想，利用人类偏好数据优化模型输出。其核心是对比分析"chosen"和"rejected"回答的log概率差异，通过sigmoid损失函数引导模型生成更符合人类偏好的内容。KTO无需奖励模型或复杂RL设置，实现简单且训练稳定，效果接近主流DPO方法。相比PPO等传统技术，KTO具有实现简易、收敛性好等优势，特别适合小规模偏好数据场景，已成为大
模型微调之对齐微调KTO
JustinMars的博客
05-29 281
KTO旨在通过优化知识从预训练模型向微调模型的转移过程，使得微调后的模型能够更好地遵循人类指令，提高模型在特定任务上的性能，同时保持模型的泛化能力。它主要关注如何在微调过程中有效地利用预训练模型的知识，减少过拟合，增强模型与人类期望输出的对齐程度。
（2025|南大，LLM，强化学习，离线逆强化学习，下一 token 预测，内生奖励）在 LLM 中发现通用奖励模型
qq_44681809的博客
07-06 1272
本文发现，一个强大的通用奖励模型并非需要构建，而是可以挖掘出来的，因为它潜伏在任何通过标准下一 token 预测训练的语言模型中。这种内生奖励并非启发式的，而是理论上等同于通过离线逆强化学习学到的奖励函数，它可带来优越于基础模型的策略
使用KTO进行更好、更便宜、更快速的LLM对齐
yanqianglifei的专栏
01-19 8649
KTO全称为Kahneman-Tversky Optimisation，这种对齐方法使在我们的数据上对大型语言模型（LLM）进行对齐变得前所未有地容易和便宜，而且不会损害性能。大型语言模型的成功在很大程度上得益于与人类反馈的对齐。如果ChatGPT曾经拒绝回答您的问题，很可能是因为它被训练为避免说出有争议的内容。然而，对于公司来说，对他们自己的LLM进行对齐一直是困难的。下面我们简单介绍下KTO方法，这种方法可以提高LLM的整体性能和质量，同时节省成本。
KTO（Kahneman-Tversky Optimization）微调全流程指南
技术引领业务创新
06-26 1060
KTO微调全流程精要指南 KTO（Kahneman-Tversky Optimization）是基于行为经济学原理的新型微调方法，通过损失厌恶机制（对负样本施加2-3倍惩罚）实现高效模型对齐。相比DPO/IPO，KTO仅需单样本标注（好/坏），降低60%标注成本，更适合实时反馈场景。实践流程包括：1）构建三元组数据集；2）配置TRL训练环境；3）调节关键参数（β控制对齐强度，λ调整负样本惩罚）；4）多维度评估效果。工业应用中，KTO可优化客服机器人（投诉率降低37%）、内容安全过滤等场景。典型问题解决方案：
全面解析 LoRA、QLoRA、RLHF，PPO，DPO，Flash Attention、增量学习等大模型算法
2201_75499313的博客
03-14 3785
RLHF的起源和背景RLHF在人工智能中的作用和重要性强化学习与人类反馈：结合的优势RLHF的主要应用领域和案例研究从InstructGPT到GPT4。
大模型对齐方法笔记一：DPO及其变种IPO、KTO、CPO
热门推荐
beingstrong的博客
05-16 1万+
大模型对齐方法DPO及其变种IPO、KTO、CPO原理
大模型开发和微调工具Llama-Factory--＞训练方法(SFT, RLHF, DPO, KTO)
weixin_46034279的博客
12-01 3310
论文指出，大规模无监督语言模型(如大型 AI 助手)虽然能够学习广泛的世界知识和一些推理技能，但由于其训练的无监督性质，精确控制其行为非常困难。现有的方法通过收集人类对模型生成内容质量的标签，使用基于人类反馈的强化学习(RLHF)来微调这些模型，使其符合人类的偏好。然而，RLHF 过程复杂且通常不稳定，需要先拟合一个反映人类偏好的奖励模型，然后使用强化学习来微调模型，使其最大化这个估计的奖励。作者提出了 DPO 算法，它通过简单的分类损失直接优化策略。
大模型微调深入研究
新缸中之脑
08-07 1654
在本博文系列的前一部分中，我们探讨了情境学习的概念，这是一种克服大型语言模型 (LLM) 的“舒适区”限制的强大方法。我们讨论了如何使用这些技术来转换任务并将其移回模型的专业领域，从而提高性能并与有用性、诚实性和无害性的关键设计原则保持一致。在本文部分，我们将重点转移到第二种领域适应方法：微调。我们将深入研究微调的细节，探索如何利用它来扩展模型的“舒适区”，从而通过使模型适应特定领域和任务来提升性能。
KTO（Kahneman-Tversky Optimization）技术详解与工程实现
技术引领业务创新
06-10 6690
KTO（Kahneman-Tversky Optimization）技术详解与工程实现
【LLM系列7】KTO 训练
weixin_39280437的博客
02-24 1425
KTO（Kahneman-Tversky Optimization）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值