Learn Your Reference Model for Real Good Alignment

最新推荐文章于 2025-06-11 12:06:04 发布
最新推荐文章于 2025-06-11 12:06:04 发布
阅读量115 收藏
点赞数
分类专栏： LLM Alignment 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138135874
版权
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM Alignment
42 篇文章
订阅专栏
本文提出TR-DPO，一种对抗DPO的改进方法，用于优化语言模型的对齐。TR-DPO通过更新参考策略在训练期间增强对齐效果，提升模型在一致性、正确性、细节、有用性和无害性等多方面表现，实验显示在GPT-4上性能提升19%。未来将扩展研究，探索更多应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Learn Your Reference Model for Real Good Alignment》的翻译。

学习你的偏好模型以实现真正的良好对齐

摘要

对齐问题的复杂性源于现有方法不稳定的事实。研究人员不断发明各种技巧来解决这一缺点。例如，在语言模型对齐的基本强化学习（RLHF）技术中，除了奖励最大化之外，还最小化了可训练策略和SFT策略之间的Kullback-Leibler分歧。这一添加防止了模型过度拟合到奖励模型（RM），并生成RM域外的文本。直接偏好优化（DPO）方法重新制定了RLHF的优化任务，并消除了奖励模型，同时默认保持了策略接近SFT策略的要求。在我们的论文中，我们认为DPO方法中的这种隐含限制会导致次优结果。我们提出了一种称为信任区域DPO（TR-DPO）的新方法，该方法在训练期间更新参考策略。通过这样一个简单的更新，我们在人类HH和TLDR数据集上证明了TR-DPO对抗DPO的有效性。通过GPT-4的自动评估，我们发现TR-DPO的性能优于DPO高达19%。我们提出的新的对齐方法使我们能够同时提高多个参数的模型质量，如一致性、正确性、细节水平、有用性和无害性。

1 引言

2 相关工作

3 方法

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

A Survey on Deep Learning Techniques Applied to medical image analysis
AI天才研究院
08-13 462
作者：禅与计算机程序设计艺术 Introduction:Deep learning techniques have recently gained popularity in medical image analysis because they are capable of accurately identifying disease markers without relying on human intervention, enabling better decision-making and tre
AIGC生成模型评估：从单指标到综合评估
AI天才研究院
05-02 652
本文旨在为研究人员和开发者提供一个全面的AIGC生成模型评估指南，涵盖从基础指标到高级评估框架的完整知识体系。讨论范围包括文本、图像、音频和视频等多种AIGC形式的评估方法。本文首先介绍AIGC评估的基本概念和挑战，然后详细分析各类评估指标，接着提出综合评估框架，最后讨论实际应用和未来趋势。AIGC: 人工智能生成内容(Artificial Intelligence Generated Content)BLEU。
CMUSphinx Learn - Training Acoustic Model For CMUSphinx
yuwei629的专栏
11-26 4291
CMUSphinx 官网的学习教程 Training Acoustic Model For CMUSphinx 的译文
Training Acoustic Model For CMUSphinx
hanshuning的专栏
03-30 2041
http://cmusphinx.sourceforge.net/wiki/tutorialam Training Acoustic Model For CMUSphinx Introduction CMUSphinx project comes with several high-quality acoustic models. There are US English aco
理解直接偏好优化中的参考策略
步子哥的博客
07-22 633
近年来，为了解决大规模语言模型（LLMs）标准监督微调（SFT）算法的局限性，提出了许多替代训练算法。与依赖于单一金标准参考的SFT训练目标不同，直接偏好优化（DPO）和对比学习等先进训练算法要求LLMs学习区分各种候选输出的质量，并生成更有可能被偏好的输出，即偏好学习。DPO因其与强化学习（RL）的联系而备受关注。本文探讨了DPO对参考模型或策略的依赖性，这些参考策略通常作为进一步微调的模型被实例化。参考策略在DPO的有效性上可能施加上限，因此我们针对三个相关的研究问题展开研究。
LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-31 5373
​ LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 目录 《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 Abstract 1、Introduction介绍 2、Background背景 3、BLOOM
人脸对齐--Face Alignment In-the-Wild: A Survey
AI小作坊 的博客
11-06 8396
Face Alignment In-the-Wild: A Survey Computer Vision and Image Understanding Volume 162, September 2017, Pages 1-22 https://www.sciencedirect.com/science/article/pii/S1077314217301455人脸对齐综述文献人脸对齐的定
人脸对齐-综述——Face Alignment In-the-Wild: A Survey
weixin_43506858的博客
04-03 1489
本文主要是这篇文章的翻译，后面增加具体的算法理解。 Face Alignment In-the-Wild: A Survey Computer Vision and Image Understanding Volume 162, September 2017, Pages 1-22 https://www.sciencedirect.com/science/article/pii/S1077...
51c大模型~合集99
whaosoft~aiotの开发板商城
12-31 1462
最成功的≠最复杂的高端的食材，往往需要最朴素的烹饪方式。AI 发展到后半场「大雾散去」，如何让大模型的智力落实成执行力，智能体似乎成了业界的共同答案。从元宝到混元，各类智能体平台如雨后春笋般涌现。上个月，智谱发布 AutoGLM 的发布会上，智能体好像突破了次元壁，一句指令，就拿着手机在现场发了一个总计两万块钱的红包。我们正在见证一个重要的转折点：智能体正在将 AI 的能力从「能说会道」转变为「能做会干」。作为最强大模型厂商的有力竞争者，Anthropic 推出的智能体功能也着实惊艳了我们一把。
FDTD product reference manual-Simulation objects（二）
weixin_43044416的博客
08-29 1615
Note:[p0] = CmNote:whereand θsims=zλdwhere:∗Where FT−1where g(ω)Note:where, INote :# OptionalNote:τc≈10−11sτc≈10−11swhere W(w)
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
多模态大模型 + 数字人 实现半自动 演示文稿 PPT讲解 搭建赛博老师傅 助力程序员赛博飞升！！！
shiter编写程序的艺术
10-15 648
非常迅速的生成了一堆非常科普性质的PPT，而且一年的价格偏贵了。
yolo模型精度提升策略
qq_47798402的博客
06-09 800
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 729
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 428
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1004
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
简繁体智能翻译软件
weixin_62784879的博客
06-09 493
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
最新发布
打造全国最全的AI Agent开发知识领域的博客
06-11 1465
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
alignment model
08-25
对齐模型（alignment model）是一种用于机器翻译任务的模型。在机器翻译中，一个句子在源语言和目标语言之间的对应关系被称为对齐。对齐模型的目标是根据输入的源语言句子和目标语言句子之间的对应关系，学习一个函数来预测句子之间的对齐。 对齐模型可以用来解决许多机器翻译中的问题，例如在训练阶段，可以通过对齐模型计算源语言句子中每个单词与目标语言句子中每个单词之间的对应关系，并根据这些对应关系进行训练。在推理阶段，可以利用对齐模型将源语言句子中的单词与目标语言句子中的单词进行对应，从而生成目标语言句子。 常见的对齐模型包括基于统计的模型，如IBM模型，以及基于神经网络的模型，如注意力机制（attention mechanism）和Transformer模型。这些模型通过学习源语言和目标语言句子之间的对应关系，提高了机器翻译的准确性和流畅性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值