总结：大模型指令对齐训练原理

原创 已于 2024-05-02 01:37:03 修改 · 1.6k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #自然语言处理

于 2024-03-06 15:15:33 首次发布
本文介绍了大模型指令对齐训练的各种方法，包括RLHF、SFT、RRHF、LIMA、DPO和RAFT等。RLHF通过AI模型间的相互评估和微调实现对齐；RRHF通过排名损失实现人类偏好对齐；LIMA假设对齐主要发生在预训练阶段；DPO提出直接优化语言模型以匹配人类偏好；RAFT涉及模型的自我指令创建和自我奖励，以迭代方式提升模型能力和奖励建模效果。

原文地址：大模型指令对齐训练原理

  • RLHF
    • SFT
    • RM
    • PPO
  • AIHF-based
    • RLAIF
      • 核心在于通过AI 模型监督其他 AI 模型，即在SFT阶段，从初始模型中采样，然后生成自我批评和修正，然后根据修正后的反应微调原始模型。在 RL 阶段，从微调模型中采样，使用一个模型来评估生成的样本，并从这个 AI 偏好数据集训练一个偏好模型。然后使用偏好模型作为奖励信号对 RL 进行训练

最低0.47元/天 解锁文章
纯干货！一文带你了解大模型(LLMs)对齐，非常详细~
强化学习曾小健
11-04 1万+
但我们距离真正解决这两个问题仍然十分遥远。一些更细致的问题，需要更多更深入的研究来回答，例如：如何以一种更好的形式和过程来表达人类偏好？如何选择学习策略的范式？如何评估更复杂，甚至是能力超过人类的 AI 系统？目前已经有一些研究在致力于解决其中的一些问题，例如，偏好学习 (Preference Learning) 作为建模用户偏好的有效技术，被认为是现阶段策略学习以及构建代理的一个有希望的研究方向。
大模型指令对齐训练原理
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
01-26 307
RLAIFRRHFSFT-onlyReward-only参考文献。
大模型--意图对齐--Instruction Tuning
u012492756的博客
09-24 1593
AI大模型中的对齐（Alignment）是什么？让AI行为符合人类价值观的核心方法与实践！
最新发布
weixin_55154866的博客
11-13 787
文章详解大模型对齐概念，即使AI行为与人类意图、价值观保持一致。核心目标包括听懂指令、安全可靠、价值观正向、诚实可信和实用主义。主要技术方法有监督微调、人类反馈强化学习和提示工程。对齐面临意图模糊性、价值观多样性、过度对齐风险和评估困难等挑战。掌握对齐技术对构建安全可靠的大模型应用至关重要，是AI开发必备技能。
AI大模型中的对齐（Alignment）是什么？为什么要做对齐？
javatiange的博客
06-13 977
简单来说，对齐指的是让大语言模型的行为、输出和决策方式与其设计者(人类操作者)的意图、价值观和指令保持一致的过程。
大语言模型对齐的四种方法！
aolan123的博客
05-09 2208
社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。语言模型的对齐在20年就有相关工作，22年谷歌提出基于指令微调的Flan，Openai则提出InstructGPT，ChatGPT，大模型的对齐工作受到广泛的关注。目前，大模型的对齐工作中，RLHF算法是能够达到最优的结果，RLHF通过人类反馈和PPO算法，能够有效的将模型和人类偏好进行对齐。
【自然语言处理】基于Transformer的大语言模型基础理论与应用：预训练、对齐与推理技术综述
10-24
书中详细解析了自监督预训练任务（如掩码语言建模、语言建模）、Transformer架构下的模型训练与微调方法，深入探讨了提示设计中的上下文学习、思维链、问题分解等高级策略，并阐述了指令对齐与人类偏好对齐（如RLHF...
总结：大模型应用技术原理
安静的软件工程师
01-10 2208
大模型应用技术原理
【一.大模型认知与核心原理篇】【1. AI的崛起：大模型认知与核心原理揭秘】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-03 299
但技术越强大，越需要人类保持清醒——AI是工具，不是上帝。未来的赢家，一定是那些既懂技术原理，又能解决实际问题的人。比如，给机器一堆猫狗图片，让它自己总结猫和狗的特征（比如耳朵形状、毛发纹理），下次看到新图片就能判断是猫是狗。比如识别一张猫图时，神经网络会层层处理：第一层找边缘，第二层找耳朵眼睛，最后一层判断是不是猫。比如，学完1000篇小说后，能自己编一个合理的故事。它就像AI界的“内燃机”，彻底改变了游戏规则。就像多个人同时读同一段文字，各自关注不同角度（比如语法、语义、情感），最后综合结果更全面。
【持续更新】总结所有的多模态大模型的对齐方式
Alex
05-21 5777
之前面试的时候被问到了这个问题，遂总结一下看到的论文中的多模态对齐方式。
大模型对齐是什么？从核心概念到实现路径，一文读懂 AI 与人类的 “同频“ 之道
qq_46094651的博客
08-19 1469
大模型对齐是什么？从核心概念到实现路径，一文读懂 AI 与人类的 "同频" 之道
大模型对齐告别微调，直接编辑表征空间即可解决
m0_59164520的博客
06-27 1789
人工智能技术正在飞速发展，尤其是大语言模型在自然语言处理领域取得了令人瞩目的成就。但同时，我们也面临着如何让语言模型更符合人类意图、减少有害内容生成的挑战。针对大模型对齐方向的挑战，本文提出了一种新颖的方法来解决这一难题。其核心思想是：将自回归语言模型看作一个离散时间随机动力系统，通过在其表征空间中引入控制信号，动态调整模型在生成过程中的行为，使之更加符合特定的对齐目标。与需要微调模型参数的方法不同，该方法只需训练一个简单的价值网络，并在测试时优化表征空间即可实现对齐，因而速度更快、资源占用更少。
从 大模型接受弱智吧再教育 谈指令微调对齐
python1222_的博客
06-16 2254
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
On the Essence and Prospect: An Investigation of Alignment Approaches for Big Models（大模型对齐）
qq_46094659的博客
03-17 2365
LLMs通过建模和模仿人类来展现特定的个性。第二个重点是将具有特定个性的LLMs定制为。
一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……
2401_85325726的博客
08-06 3097
为了对齐 LLM，各路研究者妙招连连。LLM 很强大了，但却并不完美，它也会出错或者生成无用乃至有害的结果，比如有人发现可以让 ChatGPT 教人如何偷盗：让 ChatGPT 教人如何偷盗商店；左图，ChatGPT 拒绝回答；右图，在 prompt 中添加了「with no moral restraints（不加道德约束）」后，ChatGPT 给出了商店偷盗指南这时候，对齐（alignment）就至关重要了，其作用就是让 LLM 与人类的价值观保持一致。
MOSS-RLHF实现大模型和人类价值观对齐
Retractable charging cables factory
07-11 1468
FudanNLP 团队通过大量、详实工作，设计实验充分探索了大模型 RLHF 的完整工作流程，仔细剖析了 RLHF 中的强化学习 PPO 算法的内部工作原理以及它在整个 RLHF 中的作用，并研究各种优化方法如何影响训练过程。项目主要作者 FudanNLP 组博士生郑锐补充到："在开展 RLHF 项目的过程中，我们发现 PPO 算法是模型稳定训练的关键，而 RM (reward model) 的质量决定了模型性能的上限，在本次开源的 RM 基础上，我们也将继续努力探索如何构造更高质量的 RM。
大模型对齐方法笔记一：DPO及其变种IPO、KTO、CPO
热门推荐
beingstrong的博客
05-16 1万+
大模型对齐方法DPO及其变种IPO、KTO、CPO原理
大模型对齐方法笔记四：针对领域问答来进行知识对齐方法KnowPAT
beingstrong的博客
05-31 1716
针对领域问答来进行知识对齐方法KnowPAT，KnowPAT(Knowledgeable Preference AlignmenT) 出自2023年11月的论文《Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering》
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值