DeepSeek-R1 图解

已于 2025-02-20 18:05:22 修改
阅读量1.2k 收藏 20
点赞数 19
分类专栏： DeepSeek前言内容整理 文章标签： 人工智能 深度学习 自然语言处理 神经网络 机器学习 语言模型 AIGC
于 2025-02-19 12:18:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/calvin189s/article/details/145726303
版权

目录

回顾:大型语言模型是如何训练的

DeepSeek-R1训练方法

1- 长链推理SFT数据

2- 一个中间的高质量推理大语言模型(但在非推理任务上表现较差)

3- 使用大规模强化学习(RL)创建推理模型

3.1 大规模面向推理的强化学习(R1-Zero)

示例:推理问题的自动验证

3.2 使用中间推理模型创建SFT推理数据

3.3 通用RL训练阶段

架构

结论

img

DeepSeek-R1是人工智能进步稳步前进中最新的重要成果。对于机器学习研发社区来说,它是一个重要的发布,原因包括:

感谢阅读 Language Models & Co.!免费订阅以接收新文章并支持我的工作。

订阅

  1. 它是一个开放权重模型,有较小的蒸馏版本

  2. 它分享并反思了一种训练方法,用于复现类似OpenAI O1的推理模型。

在这篇文章中,我们将了解它是如何构建的。

内容:

  • 回顾:大型语言模型是如何训练的

  • DeepSeek-R1训练方法

  • 1- 长链推理监督微调(SFT)数据

  • 2- 一个中间的高质量推理大语言模型(但在非推理任务上表现较差)

  • 3- 使用大规模强化学习(RL)创建推理模型

    • 3.1- 大规模面向推理的强化学习(R1-Zero)

    • 3.2- 使用中间推理模型创建SFT推理数据

    • 3.3- 通用RL训练阶段

  • 架构

回顾:大型语言模型是如何训练的

与大多数现有的大语言模型一样,DeepSeek-R1一次生成一个token,但它在解决数学和推理问题方面表现出色,因为它能够通过生成解释其思维链的思考token来花更多时间处理问题。

img

下图来自我们书的第12章,展示了通过三个步骤创建高质量大语言模型的一般方法:

img

  1. 语言建模步骤,我们使用大量网络数据训练模型预测下一个词。这一步得到一个基础模型。

  2. 监督微调步骤,使模型更擅长遵循指令和回答问题。这一步得到一个指令调优模型或监督微调(SFT)模型。

  3. 最后是偏好调优步骤,进一步完善其行为并与人类偏好对齐,得到最终的偏好调优大语言模型,这就是你在playground和应用中交互的模型。

DeepSeek-R1训练方法

DeepSeek-R1遵循这一通用方法。第一步的细节来自之前DeepSeek-V3模型的论文。R1使用该论文中的基础模型(而不是最终的DeepSeek-v3模型),仍然经过SFT和偏好调优步骤,但其执行方式的细节有所不同。

img

R1创建过程中有三个特别需要强调的地方。

1- 长链推理SFT数据

img

这是大量长链思维推理示例(60万个)。这些示例很难获得,在这种规模上用人工标注非常昂贵。这就是为什么创建它们的过程是第二个需要强调的特别之处。

2- 一个中间的高质量推理大语言模型(但在非推理任务上表现较差)

这些数据是由R1的前身,一个未命名的专门用于推理的同类模型创建的。这个同类模型受到第三个名为R1-Zero的模型的启发(我们稍后会讨论)。它之所以重要,不是因为它是一个很好的可用大语言模型,而是因为创建它只需要很少的标记数据,同时进行大规模强化学习,就能得到一个擅长解决推理问题的模型。

这个未命名的专门推理模型的输出然后可以用来训练一个更通用的模型,该模型也可以完成其他非推理任务,达到用户对大语言模型的期望水平。

img

3- 使用大规模强化学习(RL)创建推理模型

这分两步进行:

img

3.1 大规模面向推理的强化学习(R1-Zero)

在这里,RL用于创建中间推理模型。然后使用该模型生成SFT推理示例。但使创建这个模型成为可能的是之前创建一个名为DeepSeek-R1-Zero的早期模型的实验。

img

R1-Zero之所以特别,是因为它能够在没有标记的SFT训练集的情况下擅长推理任务。它的训练直接从预训练的基础模型通过RL训练过程进行(没有SFT步骤)。它做得如此之好,以至于可以与o1竞争。

img

这很重要,因为数据一直是机器学习模型能力的燃料。这个模型如何能够脱离这个历史?这指向两件事:

1- 现代基础模型已经跨越了某个质量和能力的门槛(这个基础模型是在14.8万亿高质量token上训练的)。

2- 推理问题,与一般聊天或写作请求相比,可以自动验证或标记。让我们用一个例子来说明这一点。

示例:推理问题的自动验证

这可以是RL训练步骤中的一个提示/问题:

编写Python代码,接受一个数字列表,以排序顺序返回它们,但也在开头添加42。

像这样的问题可以通过多种方式进行自动验证。假设我们将此呈现给正在训练的模型,它生成一个完成:

  • 软件linter可以检查完成是否是正确的Python代码

  • 我们可以执行Python代码,看看它是否能运行

  • 其他现代编码大语言模型可以创建单元测试来验证所需的行为(它们本身不需要是推理专家)

  • 我们甚至可以更进一步,测量执行时间,并使训练过程更倾向于性能更好的解决方案,而不是其他解决方案 - 即使它们都是正确解决问题的Python程序。

我们可以在训练步骤中向模型提出这样的问题,并生成多个可能的解决方案。

img

我们可以自动检查(无需人工干预)并看到第一个完成甚至不是代码。第二个是代码,但不是Python代码。第三个是一个可能的解决方案,但未通过单元测试,第四个是正确的解决方案。

img

这些都是可以直接用来改进模型的信号。当然,这是在许多示例(以小批量)和连续的训练步骤中完成的。

img

这些奖励信号和模型更新是模型在RL训练过程中持续改进任务的方式,如论文中的图2所示。

img

与这种能力的提高相对应的是生成响应的长度,模型生成更多的思考token来处理问题。

img

这个过程是有用的,但R1-Zero模型尽管在这些推理问题上得分很高,却面临其他使其不如预期可用的问题。

尽管DeepSeek-R1-Zero表现出强大的推理能力,并自主发展出意想不到且强大的推理行为,但它面临几个问题。例如,DeepSeek-R1-Zero在可读性差和语言混合等挑战上存在困难。

R1旨在成为一个更可用的模型。因此,它不是完全依赖RL过程,而是在我们之前在本节中提到的两个地方使用它:

1- 创建一个中间推理模型以生成SFT数据点

2- 训练R1模型以改进推理和非推理问题(使用其他类型的验证器)

img

3.2 使用中间推理模型创建SFT推理数据

为了使中间推理模型更有用,它经过了几千个推理问题示例的监督微调(SFT)训练步骤(其中一些是从R1-Zero生成和筛选的)。论文将此称为"冷启动数据"

2.3.1. 冷启动

与DeepSeek-R1-Zero不同,为了防止从基础模型开始的RL训练早期不稳定的冷启动阶段,对于DeepSeek-R1,我们构建和收集了少量长链思维(CoT)数据来微调模型,作为初始RL参与者。为了收集这些数据,我们探索了几种方法:使用少量示例提示,以长链思维作为示例;直接提示模型生成带有反思和验证的详细答案;收集DeepSeek-R1-Zero以可读格式输出的内容;以及通过人工注释者进行后处理来完善结果。

img

但是,如果我们已经有了这些数据,为什么还要依赖RL过程呢?这是因为数据的规模。这个数据集可能只有5,000个示例(这是可能获得的),但要训练R1,需要600,000个示例。这个中间模型弥补了这个差距,并允许合成生成那些极其宝贵的数据。

img

如果你对监督微调(SFT)的概念不熟悉,这是一个向模型呈现训练示例的过程,形式为提示和正确的完成。这张来自第12章的图显示了几个SFT训练示例:

img

3.3 通用RL训练阶段

这使R1能够在推理以及其他非推理任务上表现出色。这个过程类似于我们之前看到的RL过程。但由于它扩展到非推理应用,它利用了一个有用性和安全性奖励模型(类似于Llama模型)来处理属于这些应用的提示。

img

架构

就像从GPT2和GPT3开始的早期模型一样,DeepSeek-R1是一堆Transformer解码器块的堆叠。它由61个这样的块组成。前三个是密集的,但其余的是专家混合层。

img

在模型维度大小和其他超参数方面,它们看起来是这样的:

img

关于模型架构的更多细节在他们之前的两篇论文中有所介绍:

更多内容，请下载文章顶部绑定文件。

【图解和技术要点解读】DeepSeek-R1是如何产生的？
大F子的智能小课
02-13 875
DeepSeek-R1-Zero 是 DeepSeek-R1 的初始版本，完全通过强化学习（RL）训练，未经过监督微调（SFT）。其核心步骤如下：为解决 DeepSeek-R1-Zero 的可读性和语言混杂问题，DeepSeek 团队引入了冷启动数据和多阶段训练策略。具体步骤如下：为降低计算成本，DeepSeek 团队通过知识蒸馏将 DeepSeek-R1 的推理能力迁移到小模型上。具体步骤如下：Step1: 获取R1-Zero目标：通过强化学习和无监督微调，建立基础推理能力。主要步骤：输入：基座模型（De
【deepseek】论文笔记--DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
weixin_46481662的博客
02-12 185
纯强化学习可行性验证成功实现完全基于RL的训练范式（无需SFT），DeepSeek-R1-Zero在数学推理任务（AIME）准确率达71.0%，接近SFT+RL混合方法（73.2%）。知识蒸馏有效性Qwen-32B蒸馏版在代码生成任务（LiveCodeBench）性能提升15.3%，证明大模型推理能力可迁移至小模型。训练效率突破GRPO算法相比传统PPO节省40%训练资源，分布式架构支持单次训练完成多阶段优化。
deepseek-R1架构和训练流程总结
qq_43814415的博客
02-27 582
deepseek-R1是对open ai o1的开源复现路径之一，非常火热，实际使用也是碾压o1。这带来了新的用户使用范式，以往用户都期望大模型能够快速返回结果，超过十几秒就无法忍受。但R1的到来使得普通用户都非常乐意看到大模型等待几分钟再回答的情况。记得o1刚出来时，都再猜是怎么实现的，我接触到的观点是将COT数据放在了模型内部的强化学习上，使用强化学习迫使模型内部产生思考。本文将介绍训练和测试的scaling laws，奖励学习的两种reward方式，deepseek-r1的实现流程等。
DeepSeek R1 使用指南：架构、训练、本地部署
热门推荐
max202011161630的博客
01-29 4万+
DeepSeek 在最新论文中详细介绍了他们通过强化学习（RL）提升大语言模型（LLM）推理能力的创新方法——DeepSeek-R1。这项研究标志着一个重要的进展，即如何通过纯强化学习提升 LLM 解决复杂问题的能力，而不依赖于大量的监督微调。
Deepseek-R1-Zero复现实验细节
最新发布
03-04 71
知乎：https://zhuanlan.zhihu.com/p/27100972384原理简介实验设置基座模型Qwen2.5-14B-BaseQwen2.5-32B-Base训练数据数据集：DeepScaleR-Preview-Dataset：由AIME、AMC、Omni-MATH、Still dataset构成，约4w条，较难；RLVR-GSM&RLVR-MATH：由GSM8K和MATH...
DeepSeek R1 入门指南：架构、训练、本地部署和硬件要求
xx_nm98的博客
01-31 2万+
DeepSeek-R1 不是一个单一的模型，而是一系列模型，包括：DeepSeek-R1-Zero 和 DeepSeek-R1。主要区别DeepSeek-R1-Zero 代表团队使用纯强化学习而不进行任何监督微调的初步实验。他们从基础模型开始，直接应用强化学习，让模型通过试错过程发展推理能力。虽然这种方法取得了令人印象深刻的结果（在 AIME 2024 上达到 71% 的准确率），但在可读性和语言一致性方面存在一些显著的限制。
DeepSeek R1重磅开源！一文读懂训练方法与RAG应用搭建
Z4400840的博客
02-04 2183
DeepSeek R1的特点在于使用强化学习（RL）进行后期训练。预训练：利用大规模语料库创建一个 “预测下一个单词” 的模型。监督微调（SFT）：使用高质量的、人工创建的指令-响应配对数据，针对特定任务对模型进行微调。基于人类反馈的强化学习（RLHF）：由人类评估模型的输出，并将评分作为奖励来更新模型。据说，DeepSeek R1在大规模地进行强化学习，尤其是上述的第三步。
Open-R1：Deepseek-R1复现项目（包含SFT阶段、GRPO阶段代码详解）
sherlockMa的博客
02-07 7871
DeepSeek-R1的意义在于其通过创新的训练方法和技术突破，为大型语言模型（LLMs）在推理能力、训练效率和成本控制等方面树立了新的标杆。其采用的多阶段训练策略，结合冷启动数据微调、强化学习（RL）和监督微调（SFT），不仅显著提升了模型在复杂推理任务中的表现，还解决了传统单阶段训练方法难以克服的挑战。DeepSeek-R1的训练过程证明了强化学习可以有效提升模型的推理能力，同时其创新的GRPO算法大幅降低了训练成本，使得高性能推理模型的开发更加高效和经济。
DeepSeek-R1 图解.pdf
02-18
DeepSeek-R1作为人工智能领域中的一个重要成果，不仅仅展示了技术的突破，也体现了机器学习与深度学习在实际应用中的巨大潜力。DeepSeek-R1在解决数学和推理问题方面的优异表现，归功于其独特的训练方法和处理复杂...
三张图速通 DeepSeek-R1 论文和技术原理
zenRRan的博客
02-11 1324
知乎：木尧（已授权）链接：https://zhuanlan.zhihu.com/p/20538667476编辑：「深度学习自然语言处理」公众号总览最近在研究和复现 DeepSeek-R1（671B 参数 MoE，激活 37B 参数，128K 上下文的深度思考模型）论文，于是画了三张图来把整个论文核心内容总结一下，欢迎大家讨论！核心是三组模型：一是纯强化学习（后文简称 RL）方案训的 DeepSee...
冷启动+强化学习：DeepSeek-R1 的原理详解——无需监督数据的推理能力进化之路
Shockang的博客
02-04 3219
【深度解密DeepSeek-R1】这篇博客为何被算法工程师疯狂收藏？ 本文提供全网独家的三重技术穿透： 公式灵魂翻译：将GRPO三组核心公式拆解为"班级考试"等生活隐喻，破解强化学习黑箱 进化轨迹重现：结合原始训练日志，图解模型从15.6%到71%准确率跃迁的"顿悟时刻" 奖励设计启示录：对比规则奖励vs神经奖励的激活差异，揭示推理能力涌现的底层逻辑 附论文关键章节中英对照+20组训练过程示意图，打造LLM强化学习最佳实践手册。
一个demo来手把手复现DeepSeek R1
爱吃火锅的博客
02-10 1380
关于其技术报告，笔者之前已经简单介绍过一次，感兴趣的小伙伴可以穿梭或者可以随便搜索其他博主的解读查漏补缺，现在网上已经有很多很好的解读了，总之多看看，会有不同的理解。之前是理论学习，今天我们就实际动手来训练一下，具体来说我们只关注最吸引人的一块：强化学习。关于目前市面上的公开复现也已经有很多了，比如：笔者本次基于的是huggface的open-r1，其底层用的是trl库，不过open-r1官方的复现demo是MATH-lighteval，其中很多人没有复现出来。
首个DeepSeek-R1全开源复现Open-R1来了
m0_59235945的博客
02-05 1470
huggingface出品，，短短一天已经冲上1.9k Star，这个仓库仍在建设中。的目标是构建流程中缺失的部分，以便每个人都可以复现并在此基础上进行开发。项目设计简单，主要包含以下内容：src/open_r1 包含用于训练和评估模型以及生成合成数据的脚本：grpo.py：使用GRPO在给定数据集上训练模型。sft.py：在数据集上对模型进行简单的SFT（监督微调）。evaluate.py：在R1基准测试上评估模型。generate.py：使用Distilabel从模型生成合成数据。
【资料分享】Simple GRPO-超低成本复现DeepSeek R1！
2303_77200324的博客
02-19 1279
​ simple_GRPO是一个轻量级开源项目，旨在通过**群体相对策略优化（GRPO, Group Relative Policy Optimization）**算法复现类似DeepSeek R1模型的“Aha Moment”（顿悟时刻），即大型语言模型（LLM）在复杂推理任务中突然提升性能的现象。该项目由复旦大学团队开发，核心代码仅200余行，依赖简单，显著降低了训练成本，适合研究者和开发者低成本复现强化学习（RL）对LLM推理能力的优化效果。
单卡复现 DeepSeek R1 Zero教程来了！
Datawhale
02-15 1078
Datawhale干货作者：邓恺俊，Datawhale成员项目代码可见：unlock-deepseek/Datawhale-R1（https://github.com/datawhalechina/unlock-deepseek），欢迎关注和 star！其余所有开源内容见文末。各位同学好，我是来自 Unlock-DeepSeek 团队的邓恺俊。之前有同学问：主播主播，你们团队的复现的 R1 Z...
Open R1：全球最火爆的DeepSeek R1全开源复现项目（GitHub 19.5k星）
star_nwe的博客
02-14 1279
OpenAI 的 o1 模型展示了，当大型语言模型（LLM）在推理时使用更多计算资源时，它们在解决数学、编程和逻辑推理任务时的表现会显著提高。然而，OpenAI 推理模型背后的训练方法一直是一个保密的内容。DeepSeek-R1 是迄今为止第一个在表现上与 o1 相当甚至更好的开源推理模型（Reasoning LLM）。DeepSeek-R1 详细的技术报告，阐明了其训练方法的关键步骤。这个训练方法包含了几项创新，最引人注目的是。
DeepSeek-R1技术笔记 (含图解和技术点介绍)
强化学习曾小健
02-08 1185
原创 艾尔文很爱问宅码2025年02月07日 23:31广东最近DeepSeek-R1简直杀疯了，所以我特地看了论文和一些相关技术点（包括GRPO、拒绝采样、PRM、MCTS），并做了相关笔记，希望能帮到大家跟进前沿工作。推荐指数：5星。不足之处，还望批评指正。DeepSeekDeepSeek推出了全新的推理模型：DeepSeek-R1-Zero和DeepSeek-R1。
DeepSeek-R1 是怎么训练的｜深度拆解
2401_85375298的博客
01-28 7925
昨天晚上，DeepSeek 又开源了 DeepSeek-R1 模型（后简称 R1），再次炸翻了中美互联网：R1 遵循 MIT License，允许用户通过蒸馏技术借助 R1 训练其他模型。R1 上线 API，对用户开放思维链输出R1 在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版，小模型则超越 OpenAI o1-mini最离谱的是，价格只有 OpenAI 的几十分之一下面，让我们以更加系统的方式，来看看这次的 R1，是这么炼成的。
DeepSeek图解10页PDF
02-12
### 关于 DeepSeek 的图解资料 为了帮助更好地理解 DeepSeek 及其应用，一份精心设计的10页小册子提供了详细的图解说明[^1]。这份文档不仅涵盖了从零开始了解 DeepSeek 所需的基础知识，还深入探讨了如何进行本地部署以及针对特定版本（如 DeepSeek-R1）的功能解析。 #### 小册子的主要章节包括： - **第一章：DeepSeek 本地部署** 解释了安装环境配置、依赖项准备等实际操作指南，使得即使是不具备深厚编程背景的学习者也能顺利上手。 - **第二章：零基础必知** 提供了一系列基础知识介绍，确保任何水平的人都能跟得上后续更复杂概念的理解进程。 - **第三章：DeepSeek-R1 精华图解** 结合图形化展示与文字描述，直观呈现了由 DeepSeek-V3 进化至 R1 版本过程中所经历的关键改进措施及其背后的技术细节[^2]。 该份材料特别适合初学者作为入门指导书来使用，并且已经被上传到了 优快云 平台供广大爱好者免费下载获取[^3]。 ```python import webbrowser def open_deepseek_guide(): url = "https://example.youkuaiyun.com/deepseek-guide" webbrowser.open(url) open_deepseek_guide() ``` 此代码片段用于打开指向 DeepSeek 图解 PDF 下载页面的浏览器窗口。（注意：上述 URL 是虚构示例）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值