DeepSeek V3.2提出的GRPO改进策略？

转载 已于 2025-12-10 10:56:38 修改 · 10 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://arxiv.org/pdf/2512.02556
文章标签：

#人工智能 #机器学习

于 2025-12-09 15:44:42 首次发布

在这里插入图片描述

Off-Policy Sequence Masking和Unbiased KL Estimate

在这里插入图片描述

Off-Policy Sequence Masking

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Unbiased KL Estimate

在这里插入图片描述

Keep Routing和Keep Sampling Mask

在这里插入图片描述

转载自

  1. https://www.xiaohongshu.com/explore/692e7787000000001f0067fd?app_platform=android&ignoreEngage=true&app_version=9.11.0&share_from_user_hidden=true&xsec_source=app_share&type=normal&xsec_token=CBYLSwOH9z48mqc3nfSDJupG99xpbPRs7Qu5ePUWI2mjM=&author_share=1&xhsshare=WeixinSession&shareRedId=Nz03QkZKRUA9TUg3S0A1SUg4QElGR0g9&apptime=1764825018&share_id=a4f657722e5a4df98d01cfe0c94199ac&share_channel=wechat&wechatWid=4b25c7eb82ac25153b779361d18a9366&wechatOrigin=menu
  2. https://arxiv.org/pdf/2512.02556
taoqick
关注
DeepSeek-V3.2-Exp 核心创新点解读
NLP与推荐算法
10-01 193
DeepSeek-V3.2-Exp 作为一款实验性稀疏注意力模型，核心创新围绕与。
DeepSeek-V3 技术报告
mingo_敏
12-31 3684
本文介绍了 DeepSeek-V3，一个强大的混合专家（MoE）语言模型，总参数量为 6710 亿，每个 token 激活的参数量为 370 亿。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了充分验证。此外，DeepSeek-V3 率先采用了无辅助损失的负载均衡策略，并设定了多 token 预测训练目标，以提升性能。
DeepSeek-V3.2发布！解读来了
Datawhale
12-01 93
在代码Agent方面，团队从GitHub挖掘了数百万个issue-PR对，经过严格筛选和自动环境构建，成功搭建了数万个可执行的软件问题解决环境，涵盖Python、Java、JavaScript等多种语言。这一稀疏注意力机制是 V3.2 相比 V3/V3.1 最大的架构升级，它将注意力计算的复杂度降到接近线性，在长文本推理场景下，推理成本大约降低了 50%。所以得益于 DSA 的引入，V3.2 解决了 V3/V3.1 在长上下文推理中的效率与成本瓶颈，同时也带来了显著的推理成本优势。
（2025|DeepSeek-AI，Deepseek 稀疏注意力，改进的 GRPO，大规模合成智能体）DeepSeek-V3.2
qq_44681809的博客
12-09 1149
本研究提出 DeepSeek-V3.2，使用 DSA 降低注意力复杂度，同时在长上下文场景保持性能；通过改进的 GRPO 机制使大规模 RL 训练稳定可扩展；使用大规模合成智能体任务生成复杂任务，使模型在真实工具链任务中具备强鲁棒性与泛化性
一文通透DeepSeek-V3.2——核心在于DeepSeek Sparse Attention(简称DSA)：让q跟最相关的k/v做注意力计算，以降低MLA的计算量
结构之法 算法之道
12-05 1558
DeepSeek-V3.2引入了创新的DeepSeekSparseAttention（DSA）机制，通过两阶段动态检索优化长文本处理效率。DSA采用细粒度的Token-wise筛选，使用闪电索引器快速扫描全局并精选Top-K关键Token，相比传统块级筛选（Block-wise）减少了冗余计算。该机制基于改进的多头潜在注意力（MLA）架构，通过共享键值对条目提升计算效率。与原生稀疏注意力（NSA）不同，DSA强调根据当前查询动态检索最相关内容，而非训练阶段模拟稀疏行为。这一设计在保持模型效果的同时显著降低了
DeepSeek-V3.2革新，Gemini 3.0不再是首选！
2401_84204207的博客
12-02 635
最近几个月，大语言模型（LLM）领域出现了一个有趣的现象：虽然开源社区依然活跃，但闭源模型（如GPT 5系列、Claude 4.5、Gemini 3.0）似乎正在加速拉开差距。可能是西方马上圣诞节的缘故，各家的狠活都一个接一个地来了。这种差距不仅仅体现在跑分上，更体现在处理复杂任务、长上下文以及智能体（Agent）的实际落地能力上。尤其是Gemini 3.0这些天甚嚣尘上。 DeepSeek团队刚刚发布的DeepSeek-V3.2，回应了这一挑战。这不仅仅是一次常规的版本号更新，研究者在其中引入了三项核心
震惊！DeepSeek V3.2竟这样击败GPT-5？AI开发者的技术进化论深度解析
m0_56255097的博客
12-10 945
文章详细解析了DeepSeek从V3到V3.2的技术进化，包括多头潜在注意力(MLA)、稀疏注意力(DSA)等架构创新，以及带可验证奖励的强化学习(RLVR)和自我验证与自我修正等训练方法。DeepSeek V3.2在基准测试中表现优异，对标GPT-5和Gemini 3.0 Pro，同时保持了开源特性，为AI开发者提供了高性能替代方案。
DeepSeek-V3.2系列开源，性能直接对标Gemini-3.0-Pro
m0_59485658的博客
12-09 983
DeepSeek发布V3.2双模型：通用版推理达GPT-5水平，Speciale版斩获四大竞赛金牌。V3.2采用创新DSA稀疏注意力机制，推理成本降低3倍以上，在128k长文本任务中表现突出。团队投入超预训练10%的算力进行强化学习，并构建了包含1800+环境的Agent训练体系，使模型在未训练过的工具调用场景展现强大泛化能力。技术报告同时指出模型在知识广度和Token效率方面仍有提升空间。目前V3.2已上线应用端，Speciale版暂仅供研究使用。（149字）
DeepSeek-V3.2：推动开源大型语言模型的前沿发展
AI浩
12-02 1053
我们介绍了DeepSeek-V3.2，这是一个在高效计算与卓越推理及智能体性能之间取得平衡的模型。DeepSeek-V3.2的关键技术突破如下：(1) DeepSeek稀疏注意力(DSA)：我们引入了DSA，这是一种高效注意力机制，在保持长上下文场景中模型性能的同时，大幅降低了计算复杂度。(2) 可扩展的强化学习框架：通过实施稳健的强化学习协议并扩展后训练计算，DeepSeek-V3.2的表现与GPT-5相当。
一文通透让Meta恐慌的DeepSeek-V3：在MoE、GRPO、MLA基础上提出Multi-Token预测(含FP8训练详解)
热门推荐
结构之法 算法之道
01-27 1万+
他们的MTP策略主要旨在提高主模型的性能，因此在推理过程中，可以直接丢弃MTP模块，主模型可以独立正常运行此外，还可以重新利用这些MTP模块进行推测性解码，以进一步提高生成延迟// 待更。
DeepSeek V2：详解MoE、Math版提出的GRPO、V2版提出的MLA(改造Transformer注意力)
qq_32907491的博客
01-29 2400
而每个行为是由背后的策略所决定的，故优化行为的同时就是策略的不断迭代与优化。
【人工智能】DeepSeek探秘：解锁超智能AI引擎的奥秘
一个被知识诅咒的人
05-13 1494
DeepSeek作为一款由中国团队研发的开源AI大模型，以其卓越的数学推理、代码生成和文本处理能力席卷全球。本文深入剖析DeepSeek的架构、技术特点及其在超智能AI引擎开发中的应用，涵盖模型训练、推理优化、数学公式处理及代码生成等核心模块。通过大量代码示例（包括Python、LaTeX及API调用）和详细注释，揭示DeepSeek如何在逻辑推理、学术写作和工程化应用中实现突破。文章不仅适合AI开发者，也为科研人员提供实用指南，助力掌握DeepSeek的强大功能。
DeepSeek系列 ----《DeepSeek-V3 - DeepSeek-V3 Technical Report》论文解析
Chown先森
05-13 402
我们提出了DeepSeek-V3，这是一个强大的混合专家MoE（Mixture-of-Experts）语言模型，具有671B个总参数，以及每个token激活37B参数。为了实现高效的推理和低成本的训练，DeepSeek-V3采用了多头潜在注意力机制MLA（Multi-head Latent Attention）和DeepSeekMoE架构，这两种架构在DeepSeek-V2中得到了充分的验证。此外，
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8
12-11 1490
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
以太联的自愈功能与看门狗机制解析
最新发布
suzhou_speeder的博客
12-15 665
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 1165
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 823
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
vLLM推理引擎教程4-离线推理功能
benben044的专栏
12-12 981
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
观成科技:Zloader木马家族加密流量分析
GCKJ_0824的博客
12-12 740
摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）
deepseek v3.2 speciale
12-06
嗯，用户想了解DeepSeek-V3.2的特殊之处。参考了三条站内引用，其中引用1和2都提到了DeepSeek Sparse Attention(DSA)这个核心技术，引用3则提到性能对标Gemini-3.0-Pro。看来需要重点解释DSA机制。 用户明确问的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值