DeepSeek R1技术报告关键解析(4/10)：拒绝采样（Rejection Sampling）让 AI 生成更靠谱的答案

1. 什么是拒绝采样（Rejection Sampling）？

AI 生成的答案并不总是正确的，有时候它会输出胡言乱语、逻辑错误或者无意义的推理链。

如果不进行筛选，这些错误答案可能会影响模型的学习过程，甚至让 AI 形成错误的推理模式。

为了解决这个问题，DeepSeek-R1 采用了一种称为拒绝采样（Rejection Sampling, RS）的方法，让 AI 在训练过程中优中选优，只保留最优质的推理答案，从而提升整体推理能力。

2. 拒绝采样的工作原理

拒绝采样的核心思想很简单：让 AI 生成多个答案，然后只选择最优的答案来继续训练。

这个过程可以类比为参加考试后挑选最高分的答卷作为标准答案，让 AI 学习最佳的解题方式。

在 DeepSeek-R1 的训练过程中，拒绝采样的步骤如下：

1. 让 AI 在同一个问题上生成多个不同的答案。
2. 计算每个答案的质量分数（比如基于正确率、逻辑清晰度等）。
3. 只保留质量最高的答案用于后续训练，丢弃较差的答案。

通过这个过程，AI 逐步学会如何生成更高质量的推理链，而不是随意生成答案。

3. 为什么拒绝采样对 AI 训练很重要？

在 AI 训练过程中，模型可能会遇到以下问题：

• 生成的答案质量参差不齐，有些推理过程可能是正确的，但表达混乱。
• AI 可能会重复使用低质量的推理模式，导致模型学会不可靠的推理方式。
• 训练数据中可能存在一些噪声，如果 AI 直接学习这些数据，可能会导致推理能力下降。

拒绝采样的优势在于：

• 让 AI 在同一任务上尝试多种解法，并找出最优解，从而优化推理策略。
• 逐步提高模型的推理能力，让 AI 更擅长逻辑推理、数学计算等任务。
• 通过筛选机制减少错误推理，让 AI 生成的答案更加可信。

4. 拒绝采样如何影响 DeepSeek-R1 的推理能力？

技术报告指出，研究人员在 DeepSeek-R1 的训练过程中，采用拒绝采样后，模型在多个基准测试中的表现得到了明显提升。

例如，在数学推理任务 AIME 2024 上，DeepSeek-R1 采用拒绝采样后，正确率从 71.0% 提升到 79.8%。

以下是拒绝采样带来的主要改进：

• 推理链更加清晰：AI 生成的答案不再是随意的，而是经过优化的推理链，逻辑更加合理。
• 减少胡言乱语：AI 以前可能会生成一些不相关的内容，但拒绝采样可以有效避免这些问题。
• 数学、代码等任务的正确率提升：筛选出最优答案后，AI 逐渐学会正确的推理模式，提高任务完成度。

5. 拒绝采样 vs. 传统 AI 训练方法

传统 AI 训练方法通常是给定一个标准答案，让 AI 模仿答案的格式和内容。

但这种方式存在一定的局限性，因为 AI 只能学到人类提供的答案，而无法自主探索更优的解法。

相比之下，拒绝采样让 AI 有机会在多个答案之间进行选择，并通过筛选机制优化自己的推理方式。这种方法让 AI 的推理能力更加接近人类的思考方式，而不是单纯的模仿者。

简单总结一下，拒绝采样是 DeepSeek-R1 模型中用到一项关键技术，它通过筛选 AI 生成的多个答案，让模型逐步优化推理能力。

在多个任务中，拒绝采样显著提高了 AI 生成答案的质量，使其推理链更加清晰，错误率更低。未来，通过改进筛选机制和优化计算效率，拒绝采样可以在更广泛的 AI 训练任务中发挥作用。

我创建了一个《小而精的AI学习圈》知识星球，星球上有几十万字原创高质量的技术专栏分享，同时你也可以在星球向我提问。 点击这里，我们星球见！ 点击这里查看所有 AI 技术专栏