基于vLLM本地部署企业级DeepSeek大模型

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列一百九十三

基于vLLM本地部署企业级DeepSeek大模型

9.1.2 基于vLLM本地部署企业级DeepSeek
在当今数字化和智能化快速发展的时代，企业对于人工智能技术的应用需求日益增长，尤其是在大型语言模型的推理和部署方面。而vLLM作为一款专门为大型语言模型设计的高效推理与部署工具库，以及DeepSeek-R1模型作为先进的大语言模型代表，它们的结合能够为企业带来强大的AI能力。然而，要充分发挥其优势，正确的安装、配置和部署至关重要。接下来将详细介绍基于vLLM本地部署企业级DeepSeek-R1模型的相关内容，包括vLLM的简介、技术架构、安装步骤，以及DeepSeek-R1模型的文件分析和部署方法，帮助企业顺利实现模型的落地应用，提升企业在数字化转型中的竞争力。
1.vLLM简介
vLLM是一款专为大型语言模型推理与部署打造的高效且易用的工具库，其核心特性与优势如下：
1）核心特性
vLLM通过突破性架构设计与多维度技术创新实现推理效能跃升，核心优势集中体现在：
（1）高性能推理能力：采用PagedAttention技术，实现注意力键值（KV）内存的高效管理，搭配CUDA/HIP图优化模型执行，达成业内领先的服务吞吐量。支持连续批处理传入请求，显著提升推理效率，轻松应对高并发场景。
（2）前沿优化技术集成：融合多样化量化方案（GPTQ、AWQ、INT4、INT8、FP8），结合优化的CUDA内核（集成FlashAttention、FlashInfer），更支持推测性解码、分块预填充等先进技术，从内存管理到计算加速全面优化推理性能。
2）灵活性与易用性
vLLM通过多维度架构设计实现灵活适配与高效开发，核心特性体现在：
（1）广泛兼容性：无缝集成HuggingFace生态的主流模型，支持张量并行、流水线并行的分布式推理模式，适配NVIDIA GPU、AMD CPU/GPU、Intel CPU/GPU、PowerPC CPU、TPU及AWS Neuron等多类型硬件，覆盖多样化部署环境。
（2）便捷开发部署体验：提供高吞吐量服务框架，支持并行采样、束搜索等多种解码算法，满足不同场景需求；支持流式输出与前缀缓存，优化交互体验；配备OpenAI兼容的API服务器，降低开发门槛，同时支持多LoRA，灵活适配模型微调与个性化部署需求。
2.vLLM技术架构
在当今人工智能领域，大型语言模型的推理和部署面临着诸多挑战，尤其是在高效利用资源和提升推理速度方面。vLLM作为一款专门为大型语言模型设计的推理和部署库，其架构设计以高效推理和资源优化为核心，充分借助现代硬件设施和并行计算技术的优势，为大规模语言模型在分布式环境下的高效推理提供了有力支持。它的核心架构由多个模块构成，主要围绕内存管理、动态批处理和并行推理展开，接下来详细介绍。
1）核心组件
vLLM核心模块通过协同工作机制实现高效推理，核心组件包括以下几个：
（1）调度器：调度器（Scheduler）是vLLM架构的中枢神经，它承担着管理推理任务调度的重任。它就像一位精明的资源管理者，能够实时、动态地根据系统资源的状态，如内存使用情况、GPU负载等，对推理请求进行智能调度。通过这种方式，它可以显著提高系统的吞吐量，同时减少推理延迟。此外，调度器还具备根据请求的优先级、大小以及系统资源状况，灵活调整批处理大小的能力，确保每一份系统资源都能得到最优分配。
（2）模型执行器：模型执行器（Model Executor）负责具体执行推理任务。它就像一个桥梁，在不同的硬件资源（如GPU、CPU）之间搭建起沟通的渠道，合理分配模型的计算任务。在vLLM中，模型执行器通过优化并行性和批处理操作，大幅减少推理的时间开销。同时，它还能够将任务分布到多个GPU上，进一步加速执行过程，充分发挥硬件的计算能力。
（3）内存管理器：内存管理器（Memory Manager）是vLLM的核心组件之一，其主要职责是动态分配和回收内存，确保在推理过程中尽可能降低显存的占用。它采用了一种名为“块级内存管理”（Block - level Memory Management）的先进技术，能够对内存使用进行细粒度的管理。根据实际需求进行内存的分配和释放，避免了不必要的显存浪费，使得系统资源得到更高效的利用。
（4）批处理管理器：批处理管理器（Batch Manager）的主要任务是将多个推理请求打包在一起。通过对不同请求进行动态批处理，它能够在保持推理速度的同时，灵活应对不同批次的输入，最大化硬件资源的利用率，从而提升整个系统的吞吐量。
2）模型并行性支持
为了加速大规模语言模型的推理，vLLM设计了多种模型并行性策略，主要包括以下几种：
（1）数据并行：数据并行是一种常见且有效的并行计算策略。vLLM能够将相同模型的不同输入数据分发到多个GPU上进行推理，通过均衡各个GPU的负载，确保每个GPU都能充分利用其计算资源，从而显著提升整体处理速度。
（2）张量并行：对于非常庞大的模型，单个GPU的显存可能无法容纳完整的模型权重。在这种情况下，vLLM支持张量并行，它会将模型的张量分割成更小的部分，并将这些部分分布到多个GPU上进行计算。这种策略有助于在多GPU环境下高效地推理大模型，突破了单个GPU显存的限制。
（3）流水线并行：流水线并行通过将模型的各个层分布到不同的GPU上，形成一个流水线式的推理过程。每个GPU负责处理模型的部分层次，并将处理结果传递给下一个GPU，直到最终完成推理任务。这种并行方式有效地减少了推理过程中的瓶颈，提高了推理效率。
3）内存管理机制
内存管理是vLLM的重要优化领域，它运用了多种技术来确保推理过程中内存使用的高效性。<