深度拆解 DeepSeek-V3/R1 推理架构！从核心组件到工作流，揭秘高效推理的底层逻辑

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列一百九十六

深度拆解 DeepSeek-V3/R1 推理架构！从核心组件到工作流，揭秘高效推理的底层逻辑

3.12.1 DeepSeek-V3/R1推理系统架构剖析
DeepSeek-V3/R1推理系统的架构是其实现高效推理的关键支撑，它精心设计了各个组件及其交互流程，以达成更大吞吐和更低延迟的目标。整个架构主要围绕API服务器、负载均衡器以及各类服务展开，它们紧密协作，确保系统稳定、高效运行。
1.系统架构及核心组件功能解析
DeepSeek-V3/R1推理系统在追求更大吞吐和更低延迟的道路上，其精妙的架构设计功不可没。整个架构由多个核心组件协同构成，宛如一部精密运转的机器，每个组件都承担着不可或缺的功能，它们彼此配合，共同为系统的高效运行提供坚实保障。DeepSeek-V3/R1推理系统架构如图3-8所示。

图3-8 DeepSeek-V3/R1推理系统架构

下面将深入剖析这些核心组件的功能与运作机制。
1）API服务器
API服务器作为系统与外部交互的唯一入口，承担着接收各类外部请求的重任。无论是来自网页端、APP，还是API接口的请求，都首先汇聚于此。它就像一座大厦的总入口，所有的访客都要从这里进入，其稳定性和高效性直接影响着整个系统对外服务的质量。通过对请求的初步接收和解析，API服务器为后续的处理流程奠定基础。
2）负载均衡器
（1）预填充负载均衡器：在预填充阶段，预填充负载均衡器发挥着关键的调度作用。它根据各个预填充服务实例的负载情况，将预填充请求合理地分发到多个预填充服务实例上。这一过程需要综合考虑多个因素，如每个实例当前的任务队列长度、计算资源占用情况等，确保请求能够快速得到