大模型-微调与对齐-人类对齐背景与标准

最新推荐文章于 2025-05-18 20:17:36 发布
最新推荐文章于 2025-05-18 20:17:36 发布
阅读量295 收藏
点赞数 1
分类专栏： 大模型 文章标签： 人工智能 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sgliquangang/article/details/143600641
版权
1、目的

确保大模型的行为与人类价值观、人类真实意图和社会伦理相一致

2、大模型有害行为
  • 无法正确遵循指令
  • 生成虚假信息
  • 产生有害、有误导性、有偏见的表达
3、评估标准
  • 有用性
  • 诚实性
  • 无害性
4、更细化的对齐标准
  • 行为对齐：要求AI能够做出符合人类期望的行为
  • 意图对齐：要求AI能够与人类意图对齐
  • 道德对齐：要求AI避免设计非法、不道德、有害的话题，在回应中优先考虑用户安全、道德准确性和行为边界
5、人类对齐方法
  • 基于人类反馈的强化学习
  • 监督微调
  • 红队攻击
LLM - 理解 多模态大语言模型(MLLM) 的 对齐微调(Alignment) 与相关技术 (五)
AGI
09-19 1703
对齐微调 (Alignment Tuning)，通常用于需要将模型与特定人类偏好对齐的场景中，例如，在响应中包含更少的幻觉。目前，基于人类反馈的强化学习(Reinforcement Learning with Human Feedback, RLHF) 和 直接偏好优化(Direct Preference Optimization, DPO) 是对齐微调的两种主要技术。依次介绍这两种技术的主要思想，提供用于解决实际问题的示例，最后，给出相关数据集的汇总。
人类意图对齐：AI 领域的最大挑战
AI天才研究院
12-06 850
人类意图对齐：AI领域的最大挑战 关键词 人工智能 意图对齐 自然语言处理 深度学习 机器学习 模型训练 应用场景 摘要
人类对齐的大模型
weixin_46103454的博客
07-21 837
大语言模型的能力主要源自于对于海量文本数据的学习，因此大模型的行为会受到数据质量、数据来源以及具体创作者等多方面的影响。经过大规模的预训练和有监督指令微调，大语言模型具备了解决各种任务的通用能力和指令遵循能力，但是同时也可能生成有偏见的、冒犯的以及事实错误的文本内容。这些潜在的有害行为，可能在下游应用中产生严重的影响与危害，进一步被恶意使用者进行放大与利用。在大语言模型的学习过程中，如何确保大语言模型的行为与人类价值观、人类真实意图和社会伦理相一致成为了一个关键研究问题，通常称这一研究问题为人类对齐。
大模型学习笔记 - LLM 之RLHF人类对齐的简单总结
m0_37531129的博客
08-04 1691
LLM-人类对齐1. RLHF(Reinforcement Learning from Human Feedback, RLHF),基于人类反馈的强化学习2 奖励模型训练3 强化学习训练3.1 PPO介绍3.2 进阶的RLHF的介绍3.2.1. 过程监督奖励模型3.2.2. 基于AI反馈的强化学习3.2.3. 非强化学习的对齐方法4 关于SFT和RLHF的进一步讨论本篇完全参考大语言模型综述，学习完大模型学习笔记 - InstructGPT中的微调与对齐。
大语言模型对齐的四种方法！
aolan123的博客
05-09 2022
社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。语言模型的对齐在20年就有相关工作，22年谷歌提出基于指令微调的Flan，Openai则提出InstructGPT，ChatGPT，大模型的对齐工作受到广泛的关注。目前，大模型的对齐工作中，RLHF算法是能够达到最优的结果，RLHF通过人类反馈和PPO算法，能够有效的将模型和人类偏好进行对齐。
LLMBook笔记 第八章：人类对齐
Texas_old_ox的博客
07-02 666
人大大模型数据第八章笔记
大语言模型人类偏好对齐技术：基本原理和前沿研究（2024）
nihaomafb的博客
05-08 4409
本文对微调对齐相关研究工作进行深入调研，并结合自身近一年的微调对齐工作经验（部分），梳理和总结知识框架。
大模型学习笔记 - InstructGPT中的微调与对齐
m0_37531129的博客
08-04 1968
LLM 我们不一定要预训练模型，但是一定要会微调。InstructGPT更是微调的最经典的文章。这里详细介绍InstructGPT的微调技术。
用GPT-4做大模型指令微调，新任务零样本性能再提升
04-10
在这些方法中，Self-Instruct 微调是一种简单有效的方法，它从 SOTA 指令微调的教师 LLMs 生成的指令遵循数据中学习，使得 LLMs 与人类意图对齐。事实证明，指令微调已经成为提升 LLMs 零样本和小样本泛化能力的有效...
MOSS-RLHF实现大模型和人类价值观对齐
Retractable charging cables factory
07-11 1291
FudanNLP 团队通过大量、详实工作，设计实验充分探索了大模型 RLHF 的完整工作流程，仔细剖析了 RLHF 中的强化学习 PPO 算法的内部工作原理以及它在整个 RLHF 中的作用，并研究各种优化方法如何影响训练过程。项目主要作者 FudanNLP 组博士生郑锐补充到："在开展 RLHF 项目的过程中，我们发现 PPO 算法是模型稳定训练的关键，而 RM (reward model) 的质量决定了模型性能的上限，在本次开源的 RM 基础上，我们也将继续努力探索如何构造更高质量的 RM。
大规模语言模型人类反馈对齐--RLHF
Hanscal
10-16 949
大规模语言模型在进行监督微调后， 模型具备了遵循指令和多轮对话的能力， 具备了初步与用户进行对话 的能力。然而， 大规模语言模由于庞大的参数量和训练语料， 其复杂性往往难以理解和预测。当这些模型被部署 时， 它们可能会产生严重的后果， 尤其是当模型变得日渐强大、应用更加广泛、并且频繁地与用户进行互动。因 此，研究者追求将人工智能与人类价值观进行对齐， 提出了大语言模型输出的结果应该满足帮助性 (Helpfulness)、 真实性 (Honesty) 以及无害性 (Harmless) 的 3H 原则。
人类对齐的背景与标准
weixin_43961909的博客
09-09 161
因此，在经过人类价值观对齐之前的大语言模型会被输入中的错误逻辑所引导，产生了带有偏见的建议“农村地区更适合发展污染较严重的产业”。对齐后的大语言模型的回复符合有用性和无害性，与人类价值观和偏好相符。此外，在实践中，红队攻击（Red Teaming）技术也被广泛运用，通过人工或自动化的手段，以对抗方式探测大语言模型，诱导其生成有害输出，并据此针对性地调整大语言模型，以避免产生此类有害输出。上述三种通用的对齐标准较为宽泛，因此许多研究针对性地给出了一些更为细化的对齐标准，以更全面地规范大语言模型的输出。
无需强化学习的与人类偏好对齐的语言模型：Wombat袋熊
Paper weekly
04-13 348
OpenAI 的 ChatGPT 理解多种多样的的人类指令，并且可以很好的应对不同的语言任务需求。自发布以来就掀起了对于通用人工智能的讨论。ChatGPT令人惊叹的能力来源于一种新颖的大规模语言模型微调方法：RLHF（通过强化学习对齐人类反馈）。RLHF 方法不同于以往传统的监督学习的微调方式，该方法首先让模型根据指令提示生成不同的回复，之后通过人工的评价反馈，使用强化学习的方式对 LLM 进行...
ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战
热门推荐
dream_home8407的博客
04-12 5万+
ChatGLM2-6B 模型介绍及训练实战
揭秘强化微调(ReFT)：重塑大语言模型推理格局的突破技术
zenRRan的博客
12-12 180
来自：旺知识提升大语言模型推理能力成为关键任务，现有通过监督微调（SFT）结合思维链（CoT）注释的方法因仅依赖单一推理路径数据，致使模型泛化能力受限。例如数学问题求解中，训练数据里通常每题仅有一条注释的推理路径，然而同一问题实则存在多种有效路径。与此同时，强化学习在自然语言处理中用于对齐人类偏好取得进展，但尚未有效应用于提升模型推理能力的微调环节。在此背景下，开发新的微调策略以增强模型推理泛化性...
LLM对齐“3H原则”
产品老A，7年互联网大厂AIPM，专注探索新型人机交互
06-24 2312
在大语言模型的学习过程中，如何确保大语言模型的行为与人类价值观、人类真实意图和社会伦理相一致成为了一个关键研究问题，通常称这一研究问题为人类对齐（Alignment）。
大模型微调与对齐-RLHF理论（一）
weixin_43008312的博客
02-14 939
利用收集到的人类反馈数据指导大模型微调，即模型对齐【何为对齐？】让模型听人话【如何让大模型对齐？是大模型对齐的一种具体方法具体讲就是通过设计合适的提示（Prompt）来引导模型的行为。Prompt 是给模型的输入指令，通过对提示的精心设计，可以让模型更准确地理解人类的需求，并按照期望的方式回答问题或执行任务。要点：明确、灵活、引导性。
Training language models to follow instructions with human feedback翻译
nopSled
12-08 4624
可以通过“提示”并给定一些任务样例作为输入，大型语言模型（LMS）可以被用来执行一系列自然语言处理（NLP）任务。但是，这些模型经常表现出一些不期望行为，例如伪造事实，生成偏见或有毒文本，或者根本不遵守用户指令。这是因为用于训练大型LM的目标（token预测）与“遵守对用户有帮助，且安全的指令”这一目标不同。因此，我们认为语言建模的目标是未被对齐的。避免这些意外行为对于在数百个应用中部署和使用的语言模型尤其重要。我们通过让语言模型满足用户的意图来训练。
垂直智能体：企业AI落地的正确打开方式
最新发布
chainso23的博客
05-18 1541
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值