聊聊DeepSeek-R1的技术路径

简单聊聊“DeepSeek” DeepSeek(深度求索)是一家由量化私募巨头幻方量化旗下的AI公司,成立于2023年5月,专注于人工智能技术研发,致力于打造高性能、低成本的AI模型。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

ec8e037b703a12c09cc58845d6160262.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、ERP、CRM、AI 大模型等等功能:

  • Boot 多模块架构:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 微服务架构:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 17/21 + SpringBoot 3.3、JDK 8/11 + Spring Boot 2.7 双版本 

来源:zhuanlan.zhihu.com
/p/19714987272

5aa1dd421cae4f655149f0d7f2a84451.jpeg


Arxiv论文地址:https://arxiv.org/abs/2501.12948
ModelScope论文地址:https://modelscope.cn/papers/109508
github论文地址:https://github.com/deepseek-ai/DeepSeek-R1/tree/main

DeepSeek-R1本质上给出了模型训练中的长链推理,或复杂推理问题的一种可行路径。可贵的是,在论文中DeepSeek给出了一个非常完整的技术实现路径,还包括了一些失败的尝试。这给其他模型厂商提供了完整的复现方式。我们先看最后的评测结果:

可以看到R1的结果几乎都与OpenAI-o1-1217持平,部分评测集甚至超越了后者,如AIME和MATH。

DeepSeek-R1的训练路径是非常简洁的,这和DeepSeek-V2和V3模型积累的训练经验积累存在非常大的关系。

首先我们先明确R1模型的训练目标,这个非常重要:

Our goal is to explore the potential of LLMs to develop reasoning capabilities without any supervised data, focusing on their self-evolution through a pure RL process.

划重点:探索几乎没有任何监督数据的条件下,模型通过RL训练,自我更新并涌现复杂推理能力的可能性 。

论文中用一句话概括了整体训练过程,我们先放一下原文:

we introduce DeepSeek-R1, which incorporates a small amount of cold-start data and a multi-stage training pipeline. Specifically, we begin by collecting thousands of cold-start data to fine-tune the DeepSeek-V3-Base model. Following this, we perform reasoning-oriented RL like DeepSeek-R1- Zero. Upon nearing convergence in the RL process, we create new SFT data through rejection sampling on the RL checkpoint, combined with supervised data from DeepSeek-V3 in domains such as writing, factual QA, and self-cognition, and then retrain the DeepSeek-V3-Base model. After fine-tuning with the new data, the checkpoint undergoes an additional RL process, taking into account prompts from all scenarios. After these steps, we obtained a checkpoint referred to as DeepSeek-R1, which achieves performance on par with OpenAI-o1-1217.

训练路径:

1.先收集了一部分高质量冷启动数据(约几千条),使用该数据fine-tune DeepSeek-V3-Base模型,记为模型A

2.使用A模型用GRPO训练,使其涌现推理能力,收敛的模型记为B

3.使用B模型产生高质量SFT数据,并混合DeepSeek-V3产生的其他领域的高质量数据,形成一个高质量数据集

4.使用该数据集训练原始DeepSeek-V3-Base模型,记为模型C

5.使用C模型重新进行步骤2,但是数据集变为所有领域,收敛后的模型记为D,这个模型就是DeepSeek-R1

6.训练C模型的数据对小模型做蒸馏,效果也非常好

当然,最开始DeepSeek并没有使用冷启动,而是直接对DeepSeek-V3-Base进行了GRPO训练,发现虽然CoT能力提升比较大,但是回复的内容鱼龙混杂,甚至有多个语言同时出现的情况,所以才产生了上面比较标准的训练路径。

DeepSeek-R1的实验有很多贡献,我们列出文章中列出来的:

1.跳过SFT直接使用GRPO做RL,效果一样很好(或者说,只进行冷启动阶段的几千条数据的SFT)。这一发现证明强化学习在LLM训练中的作用比之前预想要大很多,甚至可以取代SFT

个人认为,这一点我们要分开来看,GRPO在少量显卡上的轻量训练比较难涌现比较好的效果,因此如果对Instruct或者Base模型进行垂类训练,SFT仍然是不二之选。

  1. RL-采样SFT-RL-蒸馏SFT的pipeline对其他模型训练具有启示作用

  2. 较大模型蒸馏的数据用于训练小模型效果比直接从零RL小模型要好。这一点的发现基本说明数据集本身的好坏对模型训练起决定性作用,或者说人给不了模型需要的数据,模型才给得了模型需要的数据 。换句话说,模型的next-token-prediction具有独特的生成和自我进化方式,该方式和人类给出的提示数据有所不同,而在不同模型间可能是通用的。这一点也基本决定了未来模型的训练中使用优质模型蒸馏的数据集,或模型self-improvement会成为重要的训练路径。

具体实现

GRPO的reward并没有采用PRM,而是使用了基于正则的ORM,其中包括了两个点:

1.评估最终答案是否正确。包含最终结果比对、代码运行结果等

2.格式奖励:模型需要将CoT过程放在之间

疑问:具体的奖励值是怎么定义的?不连续且稀疏的奖励可能导致policy不收敛

上面我们提过,最开始的GRPO是没有冷启动SFT的,产生的模型叫DeepSeek-R1-Zero,其训练结果如下:

AIME结果从15.6%一跃到了71%,而且这个训练过程是不需要任何监督数据的,只需要准确评估最终结果。这也是以PPO、GRPO为主包含Rollout过程的强化学习路径的优势所在。而且,随着Generate-RL的on policy训练过程,模型涌现了解决复杂任务的能力,甚至出现了反思,以及对复杂的问题产生更多的token和推理过程。

Aha Moment of DeepSeek-R1-Zero A particularly intriguing phenomenon observed during the training of DeepSeek-R1-Zero is the occurrence of an “aha moment”. This moment, as illustrated in Table 3, occurs in an intermediate version of the model. During this phase, DeepSeek-R1-Zero learns to allocate more thinking time to a problem by reevaluating its initial approach. This behavior is not only a testament to the model’s growing reasoning abilities but also a captivating example of how reinforcement learning can lead to unexpected and sophisticated outcomes.

说句题外话,这是否可以印证模型的能力提升,只需要预训练后来自于真实世界的正负反馈和模型本身的游走呢?那么现在的模型训练系统的最大问题就是模型和真实世界的交互反馈能力的不足了。

由于Zero模型的游走随机性比较强,不少问题的推理有可读性差的问题,因此DeepSeek额外训练了DeepSeek-R1模型。

1.冷启动,使用少量示例提示,其中包含长推理链,或者直接提示模型生成带有反思和验证的详细答案,或者收集DeepSeek-R1-Zero 的输出并以可读格式呈现,并通过人工注释进行后期处理以细化结果。从这些数据微调DeepSeek-V3-Base

2.在SFT后的模型上执行和Zero上相同的RL,但是为了规避语言混杂的问题,在ORM中添加了语言一致性奖励,CoT过程中符合要求的语言比例越高则奖励越高

3.通过拒绝采样 来进行微调。具体来说,首先通过拒绝采样生成推理轨迹,对部分数据(问题、真实值、采样值)输入DeepSeek-V3来判断轨迹质量,以及过滤掉可读性差、语言混杂的部分,对每个query保留了多个正确轨迹,收集好的数据集约60w条。对于CoT无关的数据,使用了和DeepSeek-V3相同的数据集并进行采样,生成了约20w条,总数据集共80w条,使用这个数据集对DeepSeek-V3进行了2 epoch的训练

4.对上述微调的模型继续进行GRPO。本次GRPO除了使用上述的ORM判断外,还增加了对非CoT数据的奖励,方法是使用了额外的reward model,以符合人类要求的回复习惯以及提高模型的帮助性和无害性

5.使用80w条数据(论文中的意思应该就是上面描述的数据集)对小模型做蒸馏,效果也比较好。DeepSeek没有做针对小模型的后续RL,虽然效果应该也是不错的

在对比实验中,DeepSeek做了针对小模型的RL&蒸馏的实验对比:

在实验中,使用小模型做RL的效果,不如使用大模型蒸馏得到的数据SFT得到的小模型的效果。因此,可以得出两个结论:首先,将更强大的模型蒸馏为较小的模型会产生出色的结果,而较小的模型依赖本文提到的大规模 RL需要巨大的计算能力,并且可能甚至无法达到蒸馏的效果。其次,尽管蒸馏策略既经济又有效,超越智能的边界可能仍然需要更强大的基础模型和更大规模的强化学习。

最后,我们注意下不成功的尝试:

1.PRM 。过程奖励模型在RL中作用不大,甚至是反作用。我感觉这个和当初把知识图谱+预训练结合起来的问题是一样的,即在大规模transformer结构训练中使用另外的不可导工具的辅助可能导致不稳定 。PRM模型面临着奖励欺骗、不可导、效果有限等问题,如果训练新的PRM模型需要额外的资源和时间2.蒙特卡洛树搜索 。DeepSeek最初探索了使用蒙特卡罗树搜索(MCTS)来增强测试时的计算可扩展性。将答案分解为更小的部分,以允许模型系统地探索解决方案空间。提示模型生成多个标签,这些标签对应于搜索所需的具体推理步骤。在训练过程中,首先使用收集到的提示通过由预训练值模型指导的蒙特卡罗树搜索找到答案。随后,使用生成的问题-答案对来同时训练行为模型和值模型,迭代地改进该过程。这种方法的失败在于next-token的维度爆炸问题非常严重,在优先探索时间下只能采样一部分路径,这些路径可能是不良的,或者是局部最优的,而相关的细粒度价值模型也很难训练,最终导致policy模型难以迭代改进。虽然Alpha-Go/Zero中使用该算法达到了最优,但由于next-token的维度非常高,因此该算法难以扩展到NLP领域

关于第二点需要额外注意,并非蒙特卡洛方法在NLP领域完全不可用(事实上目前不少工作是基于MCTS采样达到的SOTA效果),而是从base模型从0开始采样训练的时候是不可用的。 蒙特卡洛方法的前提要求是要么探索空间的维度可控,要么policy模型的generate过程是可控且多样的。如果使用instruct(或者说已经具备了一定CoT能力的)模型进行蒙特卡洛采样效果应该会有不错的提升。


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

1c0b24e2ad0c4620550782884b4882ab.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

88d6433415abf4aebb75abc241bffc6d.png

22de34dc0c25e45826aa5145138ac5d7.png7e100dc2cec8d50fd2563049ef79e3f3.png72929b89f6f43124952cca729a5901a2.png53d25db6036026dd4943caabe1965b07.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
VFIO框架源码分析(二十二)- IOMMUFD 的脏页跟踪与 Dirty Bits 读取 在虚拟化热迁移(Live Migration)的场景中,脏页追踪(Dirty Page Tracking)是最具挑战性的环节之一。它的核心任务是实时捕获设备(DMA)对内存的写操作,以便 VMM(如 QEMU)知道哪些内存页需要被重新传输到目标主机。在强耦合与粗粒度:脏页追踪是绑定在 Container 上的。这意味着,如果一个 Container 内有多个设备,哪怕只有一个设备在写内存,脏页追踪也会影响 Container 内的所有设备。软件模拟开销大。 阅读详情

相关推荐

结合 Conda 手动安装 RepeatMasker

RepeatMasker 是一个广泛使用的生物信息学工具,用于识别和屏蔽(mask)基因组序列中的 重复序列(repeats) 。在使用过程中需要调用重复序列数据库(Repbase 和 Dfam),如果使用Conda安装的话会出现许多问题,因此推荐手动安装。在此记录我手动安装RepeatMasker的流程,希望对各位同学有所帮助。

m0_65437087的博客 2538

聊聊DeepSeek-R1的技术路径,从微调到部署全流程解析!

DeepSeek-R1本质上给出了模型训练中的长链推理,或复杂推理问题的一种可行路径。可贵的是,在论文中DeepSeek给出了一个非常完整的技术实现路径,还包括了一些失败的尝试。这给其他模型厂商提供了完整的复现方式。可以看到R1的结果几乎都与OpenAI-o1-1217持平,部分评测集甚至超越了后者,如AIME和MATH。DeepSeek-R1的训练路径是非常简洁的,这和DeepSeek-V2和V3模型积累的训练经验积累存在非常大的关系。首先我们先明确R1模型的训练目标,这个非常重要:。

xiangxueerfei的博客 1018

cst使用局部网格加密,手动加密,special设置等方法合理网格布局加速仿真速度

在CST中,计算复杂模型或者阵列的时候往往需要耗费大量仿真时间,除了使用更高性能的电脑或工作站进行仿真,合理对CST的仿真网格进行适当设置也是必不可少的一步。CST中网格设置影响模拟的精度和速度,因此花时间理解网格过程是很重要的。

OVEN_b612的博客 1万+

聊聊Reasoning Model的精巧实现(ReFT, Kimi K1.5, DeepSeek R1)

ReFT核心使用PPO算法来提升Reasoning的能力,相对于传统的PPO算法,主要做了两方面优化:1) 简化Reward Model ,使用的是Rule-Base Reward而非训练一个模型。2) Critic Model参数与Policy Model共享,压缩训练阶段模型的参数的存储空间,也进一步降低模型训练的复杂度。Kimi打磨K1.5的过程非常精细,从报告中可详细了解从PreTrain,到SFT精调,再到RL阶段的每一步的细节。核心工作还是集中在RL阶段。

AIBigModel的博客 2453

自抗扰控制(ADRC)原理与MATLAB实现详解

自抗扰控制(ADRC)是一种先进的鲁棒控制策略,其核心在于通过扩张状态观测器(ESO)实时估计并补偿系统总扰动。相比传统PID控制,ADRC不依赖精确数学模型,特别适合处理非线性、时变系统。从控制原理看,ADRC将系统内部动态和外部扰动统一建模,通过带宽参数化方法实现快速响应与强抗扰能力。在工程实践中,ADRC已成功应用于无人机飞控、伺服系统等场景,MATLAB仿真显示其上升时间可比PID提升46%,抗扰动恢复时间缩短60%。典型实现包含ESO设计、扰动补偿和PD控制三部分,参数整定遵循ω₀=3~5倍系统带

weixin_33585822的博客 95

一文读懂GAN, pix2pix, CycleGAN和pix2pixHD

本文翻译、总结自朱俊伟的线上报告,主要讲了如何用机器学习生成图片。 来源:Games2018 Webinar 64期 :Siggraph 2018优秀博士论文报告 人员信息 主讲嘉宾 姓名:朱俊彦(Jun-Yan Zhu) 现状:麻省理工学院博士后(PostDoc at MIT),计算机科学与人工智能实验室(Computer Science and Artificial In...

gdymind的博客 6万+

从ReFT, Kimi K1.5到DeepSeek R1,聊聊Reasoning Model的精巧实现

Offline-ST 采样模型直接使用初始模型,而 Online-ST 采样模型是随着 Policy 模型的更新实时更新的,导致 Online 的方式可能使模型的分布大大偏离原始模型的分布。最终用这 800K 样本 SFT DeepSeek-V3-base 模型,产出了 Reasoning 和非 Reasoning 能力兼顾的新的模型(注:这里并没有基于上个阶段的模型继续微调,而是在基模上微调的,主要是为了保证更好的通用能力,然后进一步通过过滤后的样本继续微调,保留refine后的推理能力)。

AIBigModel的博客 1469

QGIS v3.28 高效加载OSM在线地图的三种实用方法

本文详细介绍了在QGIS v3.28中高效加载OSM在线地图的三种实用方法:通过XYZ Tiles直接连接、使用QuickMapServices插件以及配置WMS/WTMS服务。针对每种方法提供了具体操作步骤、常见问题解决方案和性能优化建议,帮助用户根据需求选择最适合的方案,提升GIS工作效率。

weixin_29233333的博客 436

清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开

你好呀,我是研一。最近DeepSeek又在AI圈投下了一枚“深水炸弹”,不过这次不是发新模型,而是玩了一手硬核的“旧瓶装新酒”。

u012589549的博客 1043

flink新版本无bat启动文件的解决办法

flink

6 4933

【OpenClaw从入门到精通】第37篇:教育“龙虾”进化论——从答疑助教到全流程智能教学系统(2026实测版)

2026年,教育AI已从被动答疑的L1级进化至主动教学的L4级,清华开源的OpenMAIC平台更是打破传统慕课局限,实现互动式AI课堂。本文基于天津工业大学、西北农林科技大学等高校的真实应用案例,结合腾讯云、天翼云的实操指南,详解OpenClaw在教育场景的四层进化路径。核心内容包括:L1-L4级教育自动化架构解析、清华OpenMAIC L4级AI课堂深度拆解、从零搭建智能答疑(QQ群机器人)+作业批改+学情分析全流程系统,以及高校网络安全合规部署方案。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 815

一文了解DeepSeek不同版本的区别和联系(R1、V3及蒸馏版本等)

前言,DeepSeek的火爆程度无需多言,对应其产品的各个版本依然有很多朋友不太清楚,比如常见的问题有DeepSeek的产品分类有哪些?常看到的DeepSeekR1和V3的区别和联系?R1-zero版本的定位是什么?以及R1满血版和蒸馏版的关系?不同大小的模型对于本地部署的配置要求等等,今天和大家展开聊聊!DeepSeek V3和R1各个版本火爆出圈,下图展示了DeepSeek公司从2023年到现在重点产品发布的时间点。

m0_59235945的博客 2万+

Python 爬虫实战:爬取 B 站 UP 主投稿数据,分析更新频率与粉丝互动

摘要:本文基于Python技术实现B站UP主投稿数据的自动化爬取与分析。通过解析B站WBI签名机制和API接口,获取UP主视频的标题、播放量、点赞数等核心数据。采用时间序列分析统计更新频率,结合相关性分析挖掘内容特征与粉丝互动的关联。结果显示编程类视频播放量最高,10-20分钟时长的视频表现最佳,投币数与播放量相关性达0.92。文章详细介绍了接口分析、反爬应对等关键技术,为内容创作者优化策略提供数据支持,同时强调遵守平台规范的爬取原则。

2503_91057718的博客 1538

Nature发文|媲美o1:聊聊DeepSeek-R1的四大特性和真实案例体感~

DeepSeek-R1近期火爆全网,本篇总结一下它的几个特性、并真实体验其效果,咱们一起来看看“LLM国人之光”是否实至名归?

趣谈AI栈 1380

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【唐叔学AI】一张图彻底拆解DeepSeek V3和R1双模型

唐叔带你读懂DeepSeek家族的技术内幕 ~

唐叔学习中... 3418

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

DeepSeek R1大火的背后,聊聊推理大模型的核心-思维链

DeepSeek作为一款专注于推理能力的大模型,R1的推出标志着大模型技术从“生成”向“理解”和“推理”迈出了重要一步。而在这背后,“思维链”(Chain-of-Thought, CoT)的出镜率也飙升。它不仅是R1模型的核心技术之一,更是推动大模型实现复杂推理能力的关键。

m0_59235699的博客 1088

聊聊GRPO算法——从Open R1来看如何训练DeepSeek R1模型

概述 首发自个人公众号:阿郎小哥的随笔驿站 DeepSeek R1系列建议阅读之前的系列文章: 聊聊DeepSeek R1的一些总结 聊聊DeepSeek R1的开源复现库——Open R1之合成数据 聊聊DeepSeek R1的知识蒸馏与应用思考 简介 GRPO 是一种在线学习算法,这意味着它通过在训练期间使用受训模型自身生成的数据来迭代改进。GRPO 目标背后的直觉是最大化生成补全的优势...

weixin_27808545的博客 513

从字节ReFT到DeepSeek R1,聊聊推理模型Reasoning Model的精巧实现

最近Reasoning Model(推理模型)异常火爆,Kimi 和 DeepSeek 陆续推出自家的产品K1.5和R1,效果追评甚至超过o1,也引起了大家的关注,甚至OpenAI也慌了。我也第一时间体验了下产品的效果,推理能力确实惊艳。也非常好奇到底用了什么技术。国内的LLM开源玩家算是比较良心的,模型开源的同时,一些技术细节也都发表出来,也能进一步解答大家的好奇心。

2401_85327249的博客 1366

在 VS Code 中免费使用 DeepSeek-R1!

点击下方卡片,关注「3D视觉工坊」公众号 选择星标,干货第一时间送达 来源:良许Linux 添加小助理:cv3d001,备注:方向+学校/公司+昵称,拉你入群。文末附3D视觉行业细分群。 扫描下方二维码,加入「3D视觉从入门到精通」知识星球(点开有惊喜),星球内凝聚了众多3D视觉实战问题,以及各个模块的学习资料:近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门...

3D视觉工坊 488

DeepSeek-R1 的一些认知,来自知乎大模型大佬的分享

技术报告的发布已经3个多月了,开源社区的各种复现工作让人眼花缭乱,这里我也简单总结一下过去两个月的个人认知与社区认知。

m0_63171455的博客 993

数据蒸馏+SFT实战:从DeepSeek-R1到Light-R1的优化路径解析

本文以DeepSeek-R1到Light-R1的优化实践为例,深入解析了数据蒸馏与SFT(监督微调)结合的技术路径。核心在于通过严格筛选构建高质量、聚焦数学推理的“思考过程”数据集,并采用两阶段课程学习进行SFT训练,最终实现模型在保持高性能的同时显著“瘦身”。这一路径强调了数据质量与渐进式训练策略对提升模型推理能力的关键作用。

red88的博客 406
上一篇: 3月,Java岗又爆了?!
下一篇: 邀请码炒到10万?OpenManus开源打脸!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值