从DeepSeek-R1，聊聊过程奖励模型在强化学习中的挑战及隐式过程奖励模型PRIME

原创 已于 2025-02-17 14:40:24 修改 · 1.3k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2025-02-17 14:40:23 首次发布

从DeepSeek-R1，聊聊过程奖励模型在强化学习中的挑战及隐式过程奖励模型PRIME

OpenAI o1 以及DeepSeek-R1 模型的发布证明了强化学习是通向高阶推理能力的必经之路，但开源社区对此还少有探索。使用PRM进行强化学习，其中有两个需要解决的关键问题：

  • • 如何高效、可扩展地获取精确奖励信号（尤其是密集奖励）？

  • • 如何构建有效的RL算法以充分释放这些信号潜力？

图片

我们寻求通过高效的奖励建模和强化学习实现高级推理能力的可扩展途径。我们的工作源于隐式过程奖励建模 (PRM) 目标。无需任何过程标签，隐式 PRM 被训练为结果奖励模型 (ORM)，然后用作 PRM。除了通过推理扩展提高模型性能外，隐式 PRM 的真正威力还在在线 RL 训练中得到展现。具体来说，它为 RL 带来了三个好处：

  • • 密集奖励：隐式PRM直接学习为每个token生成奖励的Q函数，无需额外价值模型即可缓解奖励稀疏性问题

  • • 可扩展性：仅需结果标签即可在线更新隐式PRM，通过带结果验证的在线策略轨迹直接更新PRM，有效缓解分布偏移与可扩展性限制

  • • 简洁性：隐式PRM本质即为语言模型，实践表明监督微调（SFT）模型本身即可作为优质初始PRM

在深入研究了强化学习来探索其关键算法设计和实现技术后，我们提出了基于可扩展过程奖励的在线强化学习方法 PRIME，通过implicit process reward成功解决了PRM在大模型强化学习中怎么用，怎么训，怎么扩展的三大本质问题，易用性和可扩展性极佳。

图片

如上图所示，在 PRIME 中，策略模型和PRM都使用SFT模型进行初始化。对于每个RL迭代，策略模型首先生成输出。然后，隐式PRM和结果验证器对输出进行评分，隐式PRM在输出时通过结果奖励进行更新。最后，将结果奖励  和过程奖励  组合在一起，用于更新策略模型。

算法的伪代码如下：

图片

同时，从Qwen2.5-Math-7B-Base出发，我们还训练了Eurus-2，仅用 1/10于Qwen的开源数据，数学能力超过Llama3.1-70B, GPT-4o等大模型。其中，PRIME为模型带来了16.7%的绝对提升，远超我们已知的任何开源方案。

图片

2月22日上午11点，青稞Talk 第39期，上海人工智能实验室青年科学家崔淦渠，将直播分享《PRIME: 结合隐式过程奖励的强化学习》。

分享嘉宾

崔淦渠，上海人工智能实验室青年科学家，博士毕业于清华大学计算机系，导师为刘知远副教授。研究方向为大语言模型的对齐与强化学习技术。在ICML, NeurIPS, ACL, KDD等国际人工智能顶级会议与期刊上发表论文十余篇，谷歌学术引用超9000次。

主题提纲

PRIME: 结合隐式过程奖励的强化学习

1、为什么强化学习是下一个 Scaling law
2、DeepSeek-R1：过程奖励模型在强化学习中的挑战
3、Implicit PRM与 PRIME 如何破局

成果链接

Paper：Process Reinforcement through Implicit Rewards
Abs：https://arxiv.org/pdf/2502.01456
Code：https://github.com/PRIME-RL/PRIME

直播时间

2月22日（周六） 11:00 -12:00

参与方式

Talk 将在青稞·知识社区上进行，查看链接可以进行报名交流

从DeepSeek-R1，聊聊过程奖励模型在强化学习中的挑战及隐式过程奖励模型PRIME

PRIME：通过隐式奖励实现过程强化的可扩展强化学习解决方案
步子哥的博客
02-02 1116
PRIME（Process Reinforcement through Implicit Rewards）是一种在线强化学习算法，旨在通过隐式过程奖励有效提升语言模型的推理能力。其核心思想是利用隐式过程奖励模型为每个生成的token提供奖励，从而解决奖励稀疏的问题，并通过在线更新机制实现奖励模型的可扩展性和简洁性。
DeepSeek-V3与DeepSeek-R1架构原理及应用对比分析
来了波，兄嘚
04-14 2073
DeepSeek-V3和R1代表了两种不同的技术路线：V3追求通用能力与效率的平衡，而R1专注于深度推理能力的突破。选择DeepSeek-V3当任务需要快速响应(如实时聊天)处理长文档或多语言场景进行创意写作或自然语言生成资源有限且需要经济高效的解决方案选择DeepSeek-R1当解决数学证明、算法设计等复杂问题任务需要可解释的推理过程专业领域如金融分析、科学研究愿意为高质量推理支付更高成本。
揭秘DeepSeek内幕：清华教授剖析AI模型技术原理
EnjoyEDU的博客
02-10 1459
从 ChatGPT 到各种新兴的 AI 模型，每一次技术突破都能引发广泛的关注和讨论——而最近 AI 界的“新宠”，无疑是 DeepSeek。在本文中，清华大学长聘副教授将深入剖析 DeepSeek R1 背后的大规模强化学习技术及其基本原理，并进一步展望大模型技术未来的发展方向。今天我将从宏观角度为大家介绍 DeepSeek R1 所代表的大规模强化学习技术，及其基本原理。
LLMs之PRIME：PRIME的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-22 1259
​ LLMs之PRIME：PRIME的简介、安装和使用方法、案例应用之详细攻略 目录 PRIME的简介 PRIME的安装和使用方法 PRIME的案例应用 PRIME的简介 2025年1月2日，PRIME (Process Reinforcement through IMplicit REwards) ，一个用于增强大型语言模型 (LLM) 高级推理能力的可扩展强化学习解决方案。 PRIME-RL/PRIME 项目提出了一种名为 PRIME 的可扩展强化学习解决方案，用于提升大型
51c大模型~合集120
热门推荐
whaosoft~aiotの开发板商城
04-23 1万+
然而，视觉 token 在时序上具有局部性：对于当前解码帧，其邻近帧需要更细粒度的时序交互，而远离的帧通常仅需作为记忆存在，无需深入的时序交互。Agent Factory 模式下，你只需要你对智能体做出描述，Cooragent 就会根据你的需求生成一个智能体，系统的会自动分析用户需求，通过记忆和扩展深入理解用户，省去纷繁复杂的 Prompt 设计。它不仅加速了知识的创造和传播，激发了前所未有的协作模式，更让智能体真正「活」了起来，从单纯的工具转变为社区中积极的参与者和贡献者。
51c大模型~合集167
whaosoft~aiotの开发板商城
08-12 1625
在文本到图像生成领域，Lumina-mGPT 2.0 在多个基准测试中表现优异，与 SANA 和 Janus Pro 等扩散模型和自回归模型相当甚至超越，特别是在 “两个物体” 和 “颜色属性” 测试中表现卓越，以 0.80 的 GenEval 分数跻身顶级生成模型之列。此外，团队与其他的多任务生成模型进行了实际比较，Lumina-mGPT 2.0 在可控生成和主题驱动生成任务中表现突出，与 Lumina-mGPT、OneDiffusion 和 OmniGen 等模型相比，展示了卓越的生成能力和灵活性。
51c大模型~合集102
whaosoft~aiotの开发板商城
01-07 1464
最近，来自多伦多大学、Snap Inc. 和 UCLA 的研究团队推出了全新的模型 ——Wonderland，它能够从单张图像生成高质量、广范围的 3D 场景，在单视图 3D 场景生成领域取得了突破性进展。Wonderland 的主要特点在于其精确的视角控制、卓越的场景生成质量、生成的高效性和广泛的适用性。Camera-guided 视频生成模型可以精确地遵循轨迹的条件，生成 3D-geometry 一致的高质量视频，并具有很强的泛化性，可以遵循各种复杂的轨迹，并适用于各种风格的输入图片。
51c大模型~合集160
whaosoft~aiotの开发板商城
07-27 1545
自己的原文哦~ https://blog.51cto.com/whaosoft/14066165开源！智元机器人正式发布首个xx操作系统框架稚晖君在WAIC主论坛发布“灵渠OS”开源计划！2025 世界人工智能大会暨人工智能全球治理高级别会议于 7 月 26 日在上海世博中心举办。本届大会主论坛以 “技术 — 合作 — 普惠” 的三层递进结构，汇聚全球人工智能顶尖专家，从技术演进、全球协同、社会赋能三重视角解读 AI 未来发展的时代价值。智元机器人联合创始人兼 CTO 彭志辉（稚晖君）作为唯
Agent、DeepSeek、多模态热点炸场！60+重磅嘉宾共探AI未来，2025全球机器学习技术大会完美收官！
AI科技大本营
04-21 1130
在这一背景下，本次大会以全球视角聚焦 AI 最前沿的发展趋势，围绕大语言模型技术演进、AI Agent 实践、具身智能、多模态生成、DeepSeek 技术解析等 12 大专题展开深入探讨，与海内外一线科技公司与高校机构的专家学者，共同勾勒出大模型技术的创新脉络与落地全景。此次大会汇聚了来自微软、百度、阿里巴巴、腾讯、字节跳动、蚂蚁集团、智源研究院、小红书、网易、商汤科技、小米、360、AMD数十家领军企业和组织的技术专家，他们从科研创新、工程落地到产业趋势，带来了兼具深度与前瞻的思考。
【BI学习心得05-SVD矩阵分解与基于内容的推荐】
水花的博客
12-04 1357
背景
一文汇总 DeepSeek R1 模型最新复现进展
AIBigModel的博客
02-22 1089
作者：绝密伏击,奇虎360算法资深专家原文：https://zhuanlan.zhihu.com/p/24906803874自 DeepSeek-R1 发布以来，迅速风靡全球，如今已晋升为国民级产品。此后，全球范围内掀起了一股复现 DeepSeek-R1 的热潮，其中不乏一些亮点纷呈的优秀项目。本文将对这些开源项目中的亮点复现工作进行汇总。
DeepSeek-OpenSourceWeek-第一天-FlashMLA
晓的博客
02-25 1723
FlashMLA凭借高内存带宽、高效的缓存机制以及出色的计算吞吐量，在对性能要求苛刻的AI工作负载场景中具有显著优势，成为追求极致性能的AI任务的理想选择。若读者对上述专业内容理解困难，后续将从多头隐式注意力（MLA）开始深入讲解。
【架构解析】深入浅析DeepSeek-V3的技术架构
m0_74824865的博客
02-07 1760
模型层数：61 层隐藏层维度：7168前馈网络维度：18432注意力头数：128词汇表大小：129280最大位置嵌入：163840该模型通过精细的架构设计，实现了在计算效率和性能上的平衡。高性能表现：在编程、数学等任务上取得领先成绩，展现出卓越的智商水平。低成本高效能：以较低的训练成本，实现了与大型闭源模型相当的性能。技术创新：在 FP8 混合精度训练、MLA、无辅助损失负载均衡等方面取得突破。支持超长上下文：通过 YaRN 方法，模型能够处理超长文本，拓展了应用场景。开源共享。
AI 工具实战测评：从技术性能到场景落地的全方位解析
hello world/linux
12-16 776
幽冥大陆(五十四)ASR C语言识别到自动化软件——东方仙盟筑基期
最新发布
cybersnow精通 28 门计算机语言，凭借其超凡的技术能力，成功开发过上万个应用，广泛涉及政府、商业、个人等众多领域，甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发，在软件架构设计方面更是独树一帜，自创了跨平台软件
12-20 693
ASR（Automatic Speech Recognition，自动语音识别）技术在软件自动化命令领域正掀起一场变革。它使得软件系统能够理解人类语言，并依据指令自动执行任务。通过 ASR，用户无需手动输入复杂的命令或进行繁琐的界面操作，只需说出指令，软件就能精准响应。在自动化脚本编写中，ASR 可以实时将语音转化为代码命令。例如，在编写 Python 自动化脚本时，用户说出 “创建一个名为‘data’的列表”，ASR 系统就能将其转化为对应的 Python 代码data = []。
多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
Lab4AI的博客
12-17 832
本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。
全品类电商AI助手诞生，AI试衣+万饰穿戴+图生视频，覆盖全链路
Dreamshop_AI的博客
12-19 906
DreamshopAI升级推出三大核心功能，全面革新电商视觉生产流程：AI试衣功能通过智能识别服装款式和材质，7-15天模特拍摄缩短至几分钟；万饰穿戴功能突破品类限制，精准还原珠宝、箱包等商品的材质细节；图生视频功能将静态图片转化为高质量短视频，大幅降低视频制作门槛。系统基于千万级电商数据训练，能自动适配不同市场需求，并推出AI试衣屏Dreamfit实现线上线下体验闭环。此次升级使AI成为电商运营的核心生产力工具，将传统视觉制作效率提升3倍以上，推动电商行业进入智能化新阶段。
[LLM]AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning
天下事有难易乎？为之，则难者亦易矣；不为，则易者亦难矣。人之为学有难易乎？学之，则难者亦易矣；不学，则易者亦难矣。
12-20 456
本文提出AIM框架，一种无需训练的多模态大语言模型(MLLMs)推理加速方法。通过双阶段设计：在LLM前基于相似度合并视觉Token，在LLM内基于注意力重要性剪枝Token，显著降低计算量。实验表明，该方法在视频理解任务中可减少6.8倍FLOPs，在图像任务中保持3.7倍加速的同时维持性能。关键发现包括：75%视觉Token冗余、LLM早期层侧重跨模态融合而后期侧重文本推理、跨帧合并会损害视频理解等。该方法支持动态调整压缩比例，为资源受限环境下的高效多模态推理提供了实用解决方案。
深入NVIDIA Nemotron-3：高效准确的技术、工具与数据深度解析
专注于人工智能领域的小何尚
12-18 889
摘要：NVIDIA Nemotron-3技术解析 NVIDIA Nemotron-3系列模型为构建专业AI智能体提供了突破性解决方案。该系列采用创新的混合Mamba-Transformer MoE架构，结合状态空间模型(Mamba)的长序列处理能力、Transformer的精确推理和MoE的高效计算，支持高达100万token的上下文处理。模型通过NeMo Gym多环境强化学习框架训练，使智能体掌握复杂任务执行能力。技术亮点包括：1)混合架构实现超长上下文推理；2)开源RL训练环境支持智能体开发；3)原生支
deepseek-r1情感分析原理图
07-11
<think>我们正在讨论DeepSeek-R1模型在情感分析任务上的工作原理图解。虽然用户要求的是“原理图”，但考虑到我们无法直接生成图片，我将用文字描述其工作原理，并尽可能结构化地解释流程。如果需要，我也可以尝试用Mermaid语法绘制一个简单的流程图（但请注意，纯文本环境无法渲染图形，所以我会同时提供文字解释）。 根据提供的引用材料，DeepSeek-R1是一个通过强化学习训练的大语言模型（LLM），它在推理任务上表现优秀。特别值得注意的是，它采用了不依赖监督微调（SFT）作为初步步骤，而是通过强化学习让模型自主探索思维链（CoT）推理来解决复杂问题[^2]。情感分析作为自然语言处理中的一项任务，也可以被视作一种推理任务。 ### DeepSeek-R1情感分析工作原理 情感分析的目标是判断一段文本的情感极性（如正面、负面或中性）或者更细粒度的情感类别。DeepSeek-R1作为一个通用大语言模型，可以通过以下方式处理情感分析任务： 1. **输入处理**：模型接收文本输入（例如：“这部电影太精彩了！”）。 2. **上下文理解**：模型利用其预训练的知识（基于Transformer架构）对输入文本进行编码，理解上下文语义。 3. **推理过程（CoT）**：模型通过内部推理（可能以隐式或显式的思维链形式）分析文本中的情感线索。例如： - 识别关键词（如“精彩”具有正面含义） - 结合语境（整句话的语义） - 考虑可能的反语或复杂表达 4. **输出生成**：模型生成情感分类结果（如“正面”），或者以概率形式输出各个情感类别的置信度。 ### 原理图（文字描述 + Mermaid流程图） 由于无法直接绘图，我将用Mermaid语法描述流程图，并辅以文字说明： ```mermaid graph LR A[输入文本] --> B(文本编码) B --> C[Transformer层处理] C --> D{推理阶段} D --> E[识别情感关键词] D --> F[分析句子结构] D --> G[结合上下文语义] E --> H[情感倾向判断] F --> H G --> H H --> I[输出情感标签] ``` ### 文字解释： 1. **输入文本**：用户提供待分析的文本。 2. **文本编码**：将文本转换为词向量或子词向量（如Byte Pair Encoding, BPE）。 3. **Transformer层处理**：通过多层Transformer（如自注意力机制）捕获文本的深层语义表示。 4. **推理阶段**：模型进行隐式推理（可能通过多步注意力机制），包括： - 识别情感关键词（如“好”、“坏”、“喜欢”、“讨厌”等） - 分析句子结构（如否定句“不是很满意”实际表达负面） - 结合上下文语义（如“房间小但干净”可能表达中性或混合情感） 5. **情感倾向判断**：综合上述信息，模型计算情感极性（如使用softmax输出概率分布）。 6. **输出情感标签**：生成最终分类结果（如“正面”、“负面”、“中性”）。 ### 强化学习的作用 在DeepSeek-R1的训练中，强化学习（RL）被用来优化模型的推理能力。具体到情感分析任务： - 模型被鼓励生成更准确的推理路径（即使这些路径在训练时不可见）。 - 通过奖励机制（如情感分类的准确性）来调整模型参数，使其更擅长捕捉情感语义[^2]。 ### 补充说明 - 虽然DeepSeek-R1本身是通用模型，但可以针对情感分析任务进行微调（fine-tuning）或提示工程（prompt engineering）[^3]。 - 例如，使用指令如：“请分析以下文本的情感倾向：{输入文本}。输出应为‘正面’、‘负面’或‘中性’。” ### 相关问题 §§相关问题§§ 1. DeepSeek-R1如何处理多语言情感分析？ 2. 在情感分析任务中，如何评估DeepSeek-R1的性能？ 3. DeepSeek-R1的情感分析模型与传统的基于词典的方法有何区别？ 4. 如何利用DeepSeek-R1的强化学习机制来优化特定领域的情感分析？ 希望以上解释和流程图描述能帮助你理解DeepSeek-R1在情感分析上的工作原理！如果有进一步问题，欢迎随时提出。</think>### DeepSeek-R1 情感分析工作原理图解 DeepSeek-R1 的情感分析能力基于其**强化学习驱动的推理架构**，核心流程可分为四个阶段（图示说明见下方文字描述）： ``` [输入文本] │ ├─▶ 文本编码层 │ (Transformer Encoder) │ ↓ ├─▶ 推理引擎 │ ├─▶ 思维链生成 (CoT) │ ├─▶ 情感线索提取 │ └─▶ 上下文关联 │ ↓ ├─▶ 强化学习决策层 │ (基于奖励模型的策略优化) │ ↓ └─▶ 情感分类输出 (正面/负面/中性 + 置信度) ``` #### 关键组件详解： 1. **文本编码层** - 使用 Transformer 架构将输入文本转换为高维向量表示 $ \mathbf{h} = \text{Encoder}(x) $ - 捕获词序、语义关系和情感暗示词（如“优秀”→“正面”，“失望”→“负面”） 2. **推理引擎（核心创新）** - **自主思维链（CoT）生成**：模型自动分解任务 *示例推理路径：* `"服务周到但价格偏高" → [1] 提取积极特征("周到") → [2] 提取消极特征("偏高") → [3] 权衡冲突特征` - **情感线索提取**：通过注意力机制 $ \alpha_{ij} = \text{softmax}(\frac{QK^T}{\sqrt{d_k}}) $ 聚焦情感关键词 - **上下文关联**：建立跨句情感一致性模型（如转折词“但是”引发的极性变化） 3. **强化学习决策** ([^2]) - 基于**奖励模型** $ R(\text{output}) $ 优化策略： $$ \pi^* = \arg\max_\pi \mathbb{E}_{y\sim\pi} [R(y)] $$ - 通过**探索-利用机制**自主发现最优情感推理路径，无需监督微调初步步骤 4. **输出层** - 生成概率分布： $ P(\text{sentiment}|x) = \text{softmax}(\mathbf{W}\mathbf{h}_T + \mathbf{b}) $ - 输出结构化结果： ```json { "polarity": "mixed", "confidence": 0.82, "positive_phrases": ["服务周到"], "negative_phrases": ["价格偏高"] } ``` #### 技术优势 ([^4])： 1. **推理能力驱动**：通过强化学习直接激励模型理解情感逻辑，而非依赖模式匹配 2. **零样本泛化**：对未见过的情感表达（如文化特定隐喻）仍能保持高准确率 3. **细粒度分析**：可同时检测复合情感（如“悲喜交加”）和强度变化 > 示例分析：输入 *“剧本惊艳，可惜演员演技生硬”* > 推理路径： > 1. 识别正向元素 $ \rightarrow $ `惊艳` (权重+0.7) > 2. 识别负向元素 $ \rightarrow $ `生硬` (权重-0.6) > 3. 转折词加权 $ \rightarrow $ `可惜` 增强负面影响 > 4. 输出：mixed (confidence=0.91) --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值