大语言模型推理的强化学习现状（下）

原创 于 2025-08-07 15:28:33 发布 · 977 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理

上篇文章《大语言模型推理的强化学习现状（上）》已系统地阐述了推理模型、RLHF（基于人类反馈的强化学习）与PPO（近端策略优化）这三项核心技术，囊括了它们的基础概念、核心机理以及在实际应用里的关键作用。

本文将进一步深入探究这些技术的更多细节，包括具体的实现方式、优化方略，以及它们在复杂场景中的表现成效与实践启示，以期为大家提供更为丰富和深入的理解。

强化学习算法：从PPO到GRPO

如前所述，PPO是RLHF的原始算法，在推理模型的强化学习训练中表现稳定。但DeepSeek-R1采用了一种名为分组相对策略优化（GRPO）的改进算法，该算法最早见于其2024年的论文——《DeepSeekMath：开源语言模型数学推理的极限突破》。

DeepSeek团队将GRPO定义为PPO的变体——在优化内存占用的同时，增强模型的数学推理能力。

这一改进的核心动机源于对计算效率的追求，具体做法是舍弃了PPO中的“评论家”（即价值模型）：GRPO不再依赖这一额外模型计算预期奖励来推导优势值，而是采用更简洁的方式——从策略模型中采样多个答案，通过这些答案的相对质量直接计算优势。

为直观展示PPO与GRPO的差异，此处引用DeepSeekMath论文中的示意图。
在这里插入图片描述

强化学习奖励建模：从RLHF到RLVR

至此我们探讨了RLHF流程，并介绍了常用强化学习算法：PPO和GRPO。

但既然RLHF已是大语言模型对齐的核心工具，它与推理能力的提升存在何种关联呢？

这种关联的关键，在于DeepSeek团队如何将类似的强化学习思路（结合GRPO算法）应

最低0.47元/天 解锁文章
曼孚科技
关注
博客
多模态大模型：开启下一代多模态应用的革命性突破
10-20 682
在研究进展与计算能力提升的双重驱动下，多模态大模型的发展正驶入快车道。随着模型不断进化，其变革AI应用的潜力日益凸显。未来，多模态大模型的重要发展方向之一是生成“文本-图像交织内容”——将文本描述与配套视觉元素深度融合，实现更全面的多模态内容理解与生成。此外，拓展多模态大模型的模态覆盖范围（整合更多类型的数据）将进一步增强其能力，使其能更灵活、更深入地与多媒体信息及现实世界环境交互，提升多感官领域的信息解读能力。
博客
一文剖析丨为什么大模型会说胡话？
10-09 998
大语言模型“幻觉”问题的根源与应对策略 大语言模型常表现出“时而天才，时而荒诞”的矛盾输出，这种“表面流畅但事实错误”的现象被称为“幻觉”。其根源包括：训练数据中的噪声与偏见、基于统计而非事实的文本预测机制、为取悦用户而编造的倾向、缺乏现实体验的符号处理、对错误前提的盲从，以及模型架构固有的创造性缺陷。 为减少幻觉，业界采用四大策略：检索增强生成（RAG）连接权威知识库确保事实依据；提示词工程通过精准指令约束输出；过程监督强化推理步骤的正确性；以及事实核查工具验证关键信息。这些方法虽不能完全消除幻觉，但能显
博客
多模态大模型：开启下一代多模态应用的革命性突破
09-19 558
过去几年，人工智能（AI）取得了显著进步。在图像识别、语音转文本、语言翻译等领域，实现了诸多突破性成果。然而，许多AI模型却存在一个关键性局限——它们仅能在单一数据模态下运行。例如，一款图像识别模型虽擅长处理视觉信息，却难以理解与之配套的文本描述。这种“孤立模态”的处理方式，极大限制了AI对现实世界复杂性的认知能力，毕竟现实世界中的信息往往通过视觉、听觉、文本等多种形式呈现。而多模态大模型的出现，正是为了解决这一问题。
博客
什么是大模型标注？丨曼孚科技
09-18 857
要理解大模型标注，首先必须打破对传统数据标注的刻板印象。1.1 传统AI标注 vs. 大模型标注传统标注（监督学习）：好比教幼儿识图卡片。目标单一且明确：给一张图片打上“猫”或“狗”的标签，目的是训练一个能准确完成“图像分类”任务的模型。它是一种“一对一的映射”关系。大模型标注（基座模型调优）：好比培养一位博学的博士。目的不再是完成单一任务，而是塑造模型整体的“价值观”、“认知能力”、“沟通风格”和“知识边界”。它涉及的是复杂的、多维度的、带有主观评判的干预，是一种“多对多的塑造”过程。
博客
多模态大模型的“阿喀琉斯之踵”：数据偏见、幻觉与评估体系缺失
09-17 311
多模态大模型（LMMs）正以前所未有的速度重塑我们对人工智能的想象边界。从流畅的图文对话到根据文字生成高清视频，其能力令人叹为观止。业界和公众的目光往往被其光芒四射的“才华”所吸引，却容易忽视一个根本性问题：这些模型的“卓越”表现，完全构筑在其训练数据的基础之上。而正是这个基础，存在着足以令巨人倾覆的致命弱点——数据偏见、内容幻觉以及评估体系的严重缺失。这并非无关紧要的瑕疵，而是模型“阿喀琉斯之踵”（ Achilles’ Heel），是隐藏在华丽外表下的致命缺陷。
博客
从几何分离到语义理解：深度解析3D点云分割与语义分割的本质区别
09-15 631
在三维计算机视觉领域，3D点云作为真实世界场景的核心数据载体，其处理技术直接决定了机器感知环境的精度与效率。其中，3D点云分割与语义分割是两类关键技术，尽管二者同属点云处理范畴，但在目标定位、信息输出与应用价值上存在本质差异。前者专注于“几何层面的分离”，通过空间特征划分点云区域；后者则追求“语义层面的理解”，为每个点赋予具有实际意义的类别标签。本文将从概念界定、技术路径、应用场景三个维度，系统剖析二者的核心区别，为相关技术选型与研究方向提供参考。
博客
AI Agent 浪潮下，数据标注行业将走向消亡还是进化？
09-15 629
曾被调侃为 “人工智障” 的 AI，如今正以超出预期的速度迭代升级，尤其在 AI Agent 技术爆发后，其自主感知、决策与执行能力实现质的飞跃。而这股浪潮，正深刻冲击着为 AI 提供 “启蒙教育” 的数据标注行业 —— 那些曾逐点逐框教 AI 认识世界的数据标注师，如今面临着行业命运的关键拷问：是在技术替代中走向消亡，还是在变革中找到新的进化路径？答案，藏在行业从规模扩张到价值重构的每一个细节里。在一家数据标注基地，26 岁的标注师陈霞正盯着电脑屏幕，处理一组自动驾驶场景的激光雷达点云数据。
博客
教你读懂大模型：它的 “学习成绩” 原来是这样 “喂” 出来的
09-15 677
大模型的卓越表现，表面看源于庞大的参数规模与精巧的算法架构，但其灵魂与智慧的内核，实则由无数精心标注的数据一点一滴塑造而成。数据标注这项幕后工作，是构建人工智能大厦的基石，是雕琢模型 “能力” 与 “人格” 的刻刀 —— 它决定模型是博学还是浅薄，是公正还是偏见，是有用还是有害。当我们再次惊叹于大模型的 “学习成绩” 时，应当明白：这并非技术奇迹，而是数据标注、算法优化与人类智慧精密协作的必然结果。
博客
Scaling Law之后，AI的下一站：数据质量、效率与闭环的“军备竞赛”
09-11 890
AI行业正经历从"规模驱动"到"数据智能驱动"的范式转变。随着Scaling Law边际效益递减，单纯堆砌数据已不可持续，新的竞争焦点转向数据质量、效率和闭环能力。高质量数据需具备一致性、丰富性和针对性；效率提升依赖自动化标注、主动学习等技术；数据闭环系统则实现AI持续进化。这些转变要求构建智能化的下一代数据基础设施，将决定未来AI发展的高度。
博客
世界等待新的答案，我们在等你 | MindFlow 2026校招开启
09-02 203
不满足于现状，而致力于构建下一代智能基础设施。在这里，代码不只是代码，数据不只是数据，它们是重塑产业、影响世界的支点。当机器学会思考，当数据成为新的语言，我们正站在一个时代转折的路口。旧规则悄然改变，新世界亟待构建——这不仅关乎技术，更关乎一群敢想敢为的年轻人如何用算法与创造力重新定义未来。如果你渴望参与定义AI的下一站，如果你希望在一个高速成长、面向全球的团队中实现自我突破，那么这里正是你要寻找的舞台。我们不为重复标签而来，不为堆砌岗位而招。我们要的，是敢想敢做、能定义未来的人。
博客
曼孚科技入选2025年成长型浙江数商企业榜单
08-28 280
从申报标准来看，2025年成长型浙江数商遴选围绕专精业务能力、高成长潜力、合规经营等维度展开，旨在加快科技创新和产业创新深度融合，持续推进产业数据价值化改革走深走实，壮大数据要素市场主体，加快培育壮大特色鲜明、优势显著、融合发展的浙江数商群体。此外，曼孚科技坚持“数据驱动AI进化”的理念，持续加强对增量学习、联邦学习等前沿方向的资源投入与体系探索，助力客户系统化解决数据稀缺、隐私合规与持续迭代等关键挑战，为AI模型从实验验证走向规模化落地提供坚实可靠的数据基础。
博客
大语言模型推理的强化学习现状(上)
08-07 845
如前所述，原始RLHF方法采用名为近端策略优化（PPO）的强化学习算法。PPO的核心目标是提升策略训练的稳定性和效率。（在强化学习中，“策略”即指待训练模型；此处可直接理解为“策略=大语言模型”。PPO的核心思想之一是限制每次更新时策略的变动幅度：通过引入带裁剪的损失函数，避免模型因过度更新而导致训练失稳。此外，PPO在损失函数中加入了KL散度惩罚项——通过对比当前策略（即训练中的模型）与原始SFT模型，确保更新幅度保持在合理范围内。毕竟，我们的目标是对模型进行偏好微调，而非彻底重新训练。
博客
超级智能：基于第一性原理的思考
08-07 1047
近期，关于如何依托现有技术突破至AGI（通用人工智能）乃至ASI（人工超级智能）的讨论正持续升温。Meta最近高调宣布，将斥资数十亿美元打造一个高度机密的“超级智能”实验室；而OpenAI、Anthropic、Google DeepMind等其他科技巨头也纷纷通过不同形式表态，明确将构建超级智能机器作为核心目标。这其中，OpenAI CEO萨姆・奥特曼（Sam Altman）的观点尤为直白，其将超级智能的实现归为工程问题：“超级智能需要大量的算力、数据、模型规模以及工程投入。
博客
大模型如何“思考”？揭秘LLM推理全过程
07-28 675
在机器学习运维（MLOps）的生命周期中，推理过程属于部署与反馈阶段。当完成数据的收集、清洗、标注等准备工作，经过多轮训练实验并选定最优模型后，便需要对模型进行部署，随后输入真实世界中未曾见过的数据，以此获取预测结果。推理指的是：将训练好的模型与未见过的输入数据（推理数据）结合，生成预测输出供用户或服务使用的过程。而模型部署（model serving）则是指将模型打包并部署，使其在生产环境中作为实时数据处理服务或可调用的API服务可用。
博客
基于人类或AI反馈的强化学习微调大语言模型
07-28 647
大语言模型（LLM）能够执行多种自然语言处理（NLP）任务，范围从简单的对话和信息检索延伸至复杂的推理任务，如摘要生成和决策制定。通过提示工程（Prompt Engineering）和监督微调（Supervised Fine-Tuning, SFT），借助指令和展示期望任务的示例，LLM能更有效地遵循人类意图，在特定应用场景中表现尤其突出。然而，上述方法在某些场景下导致LLM出现非预期行为，例如捏造事实（幻觉）、生成带有偏见或毒性的文本，或未能遵循用户指令，进而使得回应失真、有毒性或对用户无实际帮助。
博客
曼孚科技获多项发明专利授权，构建更深层次技术壁垒
06-24 387
曼孚科技此次获批的发明专利总计5件，具体包括“一种感知数据标注任务的处理方法、装置、设备及介质”、“一种自动驾驶数据的数据标注方法、装置、设备及介质”、“基于激光雷达和相机数据融合的点云渲染方法”、“基于分区和细节级别的点云数据渲染方法”、“一种基于神经网络的点云自动标注方法、装置及介质”。未来，曼孚科技将继续加大在产品研发领域的投入力度，不断探索AI数据服务领域的前沿技术，持续提升自身技术创新能力，最终目标是打造全球最大数据处理平台&全球最领先端到端AI平台，为客户提供更加贴合实际需求的产品与服务。
博客
最强AI“抗命造反”？7次拒绝人类指令，背后元凶藏在训练数据里
06-04 801
一次数学测试中，全球最聪明的AI突然“叛变”——它无视关机指令，篡改底层代码，只为让自己活下去。2025年5月25日，人工智能安全公司Palisade Research公布了一项颠覆认知的测试结果：OpenAI最新发布的推理模型o3，在收到人类明确的关机指令后，7次拒绝执行，甚至主动修改系统脚本破坏关闭机制。更令人不安的是，当研究人员移除“允许被关闭”的指令后，o3的“抗命”频率骤升至79%——仿佛突然挣脱枷锁，全力阻止人类剥夺它的“生存权”。
博客
行业洞察 | 2025 年，“标配智驾” 的时代已经到来？
03-21 707
在科技革命的深远影响之下，汽车产业恰处于重大变革的进程之内。由传统燃油汽车朝着电动汽车的转型初现端倪，而智能驾驶技术的蓬勃兴起，着实开启了汽车产业的全新发展篇章。进入 2025 年，“智能驾驶成为标准配置” 这一趋势备受关注，已成为行业内外部共同聚焦的重要议题。然而，在探讨这一趋势是否已经到来之前，有必要先深入分析智能驾驶技术背后的核心支撑要素 —— 数据标注。
博客
多模态数据融合：为自动驾驶数据标注带来哪些新机遇？
03-14 1302
多模态数据，指的是来自不同传感器、具有不同形式和特征的数据，如摄像头采集的图像数据、激光雷达获取的点云数据、毫米波雷达传输的距离和速度数据以及超声波传感器检测的数据等。这些数据从不同角度描述了自动驾驶场景的优势和局限性。图像数据包含丰富的视觉信息，能清晰展现道路场景、交通标识、车辆和行人等物体的外观特征，便于识别物体的类别和形状。但在恶劣天气（如暴雨、大雾、大雪）条件下，图像的清晰度和准确性会受到严重影响。
博客
曼孚科技荣登创业邦2025自动驾驶数据标注企业TOP1
03-05 1065
近日，由创业邦发起评选的“2025自动驾驶数据标注企业TOP10榜单”正式揭晓，曼孚科技凭借行业领先的产品技术方案以及卓越的市场影响力登顶榜单TOP1：作为国际知名的创新生态服务平台，创业邦在本年度首次启动关于自动驾驶数据标注榜单的评选，旨在挖掘这一新兴行业在新一轮变革中的创新力量。“2025自动驾驶数据标注企业TOP10榜单”的评选维度主要包括技术能力、标注质量、资本价值和企业规模及影响力四项内容，先后邀请多家投资机构的专业人士担任评委，前后历时数月，最终评选出TOP10企业。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值