DeepSeek-R1中文评测：C-SimpleQA和中文推理任务分析

DeepSeek-R1中文评测：C-SimpleQA和中文推理任务分析

【免费下载链接】DeepSeek-R1 项目地址: https://gitcode.com/gh_mirrors/de/DeepSeek-R1

1. 引言

DeepSeek-R1作为新一代推理模型，在中文任务上展现出卓越性能。本文将重点分析其在C-SimpleQA和中文推理任务上的表现，为开发者和研究人员提供全面参考。通过对比主流模型性能指标，结合实际应用场景，深入探讨DeepSeek-R1的技术优势与使用方法。

2. 模型概述

DeepSeek-R1是基于DeepSeek-V3-Base架构开发的混合专家（MoE）模型，总参数量671B，激活参数量37B，上下文长度128K。该模型通过创新的强化学习（RL）训练流程，在无需监督微调（SFT）的情况下，直接在基础模型上进行大规模强化学习，成功激发了模型的推理能力。

2.1 模型训练流程

DeepSeek-R1的训练采用两阶段RL策略：

• 第一阶段：发现改进的推理模式
• 第二阶段：与人类偏好对齐

同时引入两个SFT阶段作为模型推理和非推理能力的种子，形成了独特的"RL+SFT"混合训练 pipeline。

2.2 模型家族

模型	基础模型	下载
DeepSeek-R1-Distill-Qwen-1.5B	Qwen2.5-Math-1.5B	🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-7B	Qwen2.5-Math-7B	🤗 HuggingFace
DeepSeek-R1-Distill-Llama-8B	Llama-3.1-8B	🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-14B	Qwen2.5-14B	🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-32B	Qwen2.5-32B	🤗 HuggingFace
DeepSeek-R1-Distill-Llama-70B	Llama-3.3-70B-Instruct	🤗 HuggingFace

更多模型细节请参考README.md。

3. C-SimpleQA任务评测

3.1 评测背景

C-SimpleQA是中文问答领域的重要基准测试，专注于评估模型对简单事实问题的理解和回答能力。该任务要求模型能够准确提取和理解中文文本中的关键信息，并给出正确答案。

3.2 性能对比

在C-SimpleQA任务中，DeepSeek-R1表现如下：

模型	C-SimpleQA (Correct)
Claude-3.5-Sonnet-1022	55.4
GPT-4o 0513	58.7
DeepSeek V3	68.0
OpenAI o1-mini	40.3
DeepSeek R1	63.7

数据来源：README.md

从结果可以看出，DeepSeek-R1在C-SimpleQA任务上取得了63.7%的正确率，仅次于DeepSeek V3的68.0%，超过了Claude-3.5-Sonnet和GPT-4o等主流模型。这表明DeepSeek-R1在中文事实性问答任务上具有较强的竞争力。

3.3 错误分析

尽管DeepSeek-R1在C-SimpleQA任务上表现优异，但与DeepSeek V3相比仍有差距。可能的原因包括：

1. 训练数据分布差异：C-SimpleQA数据集可能未充分覆盖在DeepSeek-R1的训练数据中
2. 模型架构特点：DeepSeek-R1更专注于复杂推理任务，在简单事实提取上可能略有妥协
3. 参数激活策略：作为MoE模型，DeepSeek-R1的37B激活参数在某些简单任务上可能不如密集模型高效

4. 中文推理任务综合分析

4.1 评测基准

DeepSeek-R1在多个中文推理任务上进行了全面评测，包括：

• C-Eval：综合性中文知识评估
• CLUEWSC：中文词义消歧任务
• CNMO 2024：中文数学竞赛题

4.2 关键结果

任务	指标	DeepSeek R1	对比模型表现
C-Eval	EM	91.8	超过GPT-4o (76.0)和Claude-3.5 (76.7)
CLUEWSC	EM	92.8	领先所有对比模型
CNMO 2024	Pass@1	78.8	显著优于其他模型
C-SimpleQA	Correct	63.7	仅次于DeepSeek V3

数据来源：README.md

4.3 中文推理能力优势

DeepSeek-R1在中文推理任务上的优势主要体现在：

1. 多轮推理能力：能够处理复杂的多步骤推理问题，特别是在数学和逻辑推理方面
2. 中文语境理解：对中文成语、谚语和复杂句式有深入理解
3. 知识覆盖广度：在C-Eval等综合知识测试中表现优异，显示出广泛的知识储备

5. 使用指南

5.1 本地部署

要在本地运行DeepSeek-R1模型，推荐使用vLLM或SGLang：

# 使用vLLM部署
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

# 使用SGLang部署
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

5.2 最佳实践

为获得最佳性能，建议遵循以下配置：

1. 温度设置在0.5-0.7之间（推荐0.6）
2. 避免添加系统提示，所有指令应包含在用户提示中
3. 对于数学问题，建议在提示中包含："请逐步推理，并将最终答案放在\boxed{}中。"
4. 为确保模型进行充分推理，建议强制模型以"<think>\n"开始每个输出

详细使用建议请参考README.md中的"Usage Recommendations"部分。

6. 结论与展望

DeepSeek-R1在中文推理任务中表现出色，特别是在C-SimpleQA和其他中文基准测试中展现了强大的竞争力。尽管在某些任务上略逊于DeepSeek V3，但在综合推理能力上仍处于领先地位。

未来，我们期待DeepSeek-R1在以下方面进一步优化：

1. C-SimpleQA任务性能提升，缩小与DeepSeek V3的差距
2. 中文复杂推理任务的进一步优化
3. 模型效率提升，降低部署门槛

通过持续优化和改进，DeepSeek-R1有望成为中文NLP领域的重要工具，为各类中文AI应用提供强大支持。

7. 参考文献

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
      title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, 
      author={DeepSeek-AI},
      year={2025},
      eprint={2501.12948},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.12948}, 
}

完整引用信息请参见README.md。

【免费下载链接】DeepSeek-R1 项目地址: https://gitcode.com/gh_mirrors/de/DeepSeek-R1