自然语言处理:第一百零四章 生产环境vLLM 部署 DeepSeek，如何调优，看这里

最新推荐文章于 2025-10-13 17:22:30 发布
原创 最新推荐文章于 2025-10-13 17:22:30 发布 · 2k 阅读 · 40 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能 #chatgpt #深度学习 #神经网络 #机器学习 #nlp

本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor


写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!


之前有小伙伴想让我出一篇，生产环境如何部署deepseek，什么样的配置能生产可用，今天我用双4090，测试几个模型。大家看看。 非常感谢提供环境的朋友。

vLLM 简单介绍

vLLM 是一个快速且易于使用的 LLM 推理和服务库。

vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。

  • 高吞吐量 ：采用先进的服务器吞吐量技术。
  • 内存管理 ：通过PagedAttention高效管理注意力键和值内存。
  • 请求批处理 ：支持连续批处理传入请求。
  • 模型执行 ：利用CUDA/HIP图实现快速模型执行。
  • 量化技术 ：支持GPTQ、AWQ、INT4、INT8和FP8量化。
  • 优化内核 ：包括与FlashAttention和FlashInfer的集成。
  • 其他特性 ：支持推测解码、分块预填充。

vLLM 文档：https://docs.vllm.ai/en/latest/index.html

源码地址：https://github.com/vllm-project/vllm

性能测试：https://blog.vllm.ai/2024/09/05/perf-update.html

软硬件信息

我的环境是双4090，内存是192GB。我预想的8k上下文。最好16k。图片

CUDA信息

图片

Driver Version: 550.144.03
CUDA Version: 12.4

环境安装

#下载 miniconda3
 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && chmod +x Miniconda3-latest-Linux-x86_64.sh

# 安装
sh Miniconda3-latest-Linux-x86_64.sh

# 添加国内镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
最低0.47元/天 解锁文章
【技术报告解读】DeepSeek-R1：通过强化学习激励LLMs的推理能力
AI天才研究院
02-05 1672
我们介绍第一代推理模型、DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero，通过大规模强化学习 (RL) 训练的模型，无需超级微调 (SFT) 作为初步步骤，展示了卓越的推理能力。通过RL，DeepSeek-R1-Zero自然地出现了许多强大而有趣的推理行为。然而，它面临着可读性差、语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前整合了多阶段训练和冷启动数据。
[arxiv论文解读]LlamaFactory：100+语言模型统一高效微调
强化学习曾小健
05-22 2154
有效的微调对于使大语言模型适应下游任务至关重要。然而，在不同的模型上实现这些方法需要付出很大的努力。我们提出了LlamaFactory，一个集成了一套尖端高效训练方法的统一框架。它允许用户通过内置的Web UI LlamaBoard灵活定制100+大语言模型的微调，而无需编码。我们凭经验验证了我们的框架在语言建模和文本生成任务上的效率和有效性。它已在发布，并已获得超过 13,000 个 star 和 1,600 个分叉。LlamaFactory：100+语言模型统一高效微调。
vllm 参数介绍
张伟的专栏
04-12 6819
一个重要参数enable-prefix-caching 特殊场景会提高很大性能。详细建视频：https://www.toutiao.com/video/7355331984845734435/?channel=&source=search_tabBelow, you can find an explanation of every engine argument for vLLM:--model Name or path of the huggingface mode
VLLM调优
qq_46059596的博客
03-24 5522
vLLM 是一个高效的大模型推理框架，专为优化显存利用和高吞吐量设计。如果需要更具体的代码框架示例，可以进一步说明你的使用场景（如多GPU部署、API服务等）！这些代码需要在加载模型时一次性配置，且必须在调用。（如模型加载参数、显存优化、并行策略等）必须写在。（如解码策略、生成长度等）则在调用。部分系统级配置（如环境变量）需在。在 vLLM 中，所有与。
如何利用VLLM方式本地部署DeepSeek大模型
最新发布
一个人的江湖
10-13 927
在部署之前，我先说下我的服务器硬软件条件：双RTX 4090显卡，48GB显存，CUDA 13.0，Python 3.12.3。
VLLM性能调优
smartcat2010的博客
01-30 1667
减少max_num_seqs或max_num_batched_tokens。减少一个batch里的请求、token个数，从而减少KV cache占用。显存不够的时候，某些request会被抢占。其KV cache被清除，腾退给其他request，下次调度到它，重新计算KV cache。可以查看VLLM自带的Prometheus指标，查看抢占的请求数量。- 增大gpu_memory_utilization。提高KV cache占用的显存百分比。- 增大tensor_parallel_size。
vLLM显存优化
xnuscd的博客
10-25 7294
在 vLLM 中，使用梯度检查点的策略会大幅减少中间激活存储在显存中的需求。在实际应用中，你可以根据任务的需求逐步调整这些参数，找到性能和显存消耗的最佳平衡点。如果可能，考虑使用量化后的模型，如 8-bit 或 4-bit 量化，这样可以显著降低显存的占用。：尝试加载量化后的模型（8-bit 或 4-bit），这可以在减少显存使用的同时维持模型的性能。：如果有多块 GPU，使用分布式推理将模型切分到不同的设备上，以减少单卡的显存压力。，并观察显存使用情况的变化。，同时观察显存的使用情况。
生产环境vLLM 部署 DeepSeek，如何调优，看这里
yxkong的专栏
03-14 2582
vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（VeryLargeLanguageModelServing）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。高吞吐量：采用先进的服务器吞吐量技术。内存管理：通过PagedAttention高效管理注意力键和值内存。请求批处理。
【Deepseek本地部署终极指南】：掌握10大核心技巧，从零构建高效AI推理环境
# Deepseek本地部署：从零到生产的全链路实践指南 在当今AI浪潮席卷各行各业的背景下，大语言模型（LLM）已不再是实验室里的“玩具”，而是企业数字化转型的核心引擎。但当我们将目光投向**Deepseek、Llama、Qwen**...
自建API服务接口：用FastAPI封装Deepseek，打造本地AI调用中枢（完整教程）
比如你现在用的聊天机器人、代码生成工具、智能客服……它们背后往往是像 **Deepseek** 这样的大语言模型，在默默处理着成千上万条自然语言请求。而把这些“大脑”接入真实世界的桥梁，正是 **FastAPI** ——这个集...
使用vLLM在3090上部署DeepSeek-R1-Distill-Qwen-7B R1 推理服务
Robin
02-21 855
出现：RuntimeError: CUDA error: out of memory,把--gpu-memory-utilization=0.80改小点。这里可用清华的源，也可以用北京外国语大学的pip源，我用的内部的。4. 创建python 干净的虚拟环境。1. 在机器上拉取Docker 镜像。最好安装虚拟环境，免得依赖处理麻烦。2. 启动docker 镜像。
【部署满血DeepSeek】使用vllm部署和测试DeepSeek-V3模型性能对比
qq_17405059的博客
05-11 1392
本文记录了使用vllm部署和测试DeepSeek-V3模型不同量化版本的过程，并对比了其性能。我们部署了DeepSeek-V3-awq和DeepSeek-V3-Int4-Sym-GPTQ-Inc两种量化模型，并通过vllm自带的benchmark工具进行了性能测试。测试结果显示，DeepSeek-V3-Int4-Sym-GPTQ-Inc模型的生成速度约为10token/s，而DeepSeek-V3-awq模型的生成速度约为5token/s。两种量化技术在模型大小、计算效率和精度方面各有优劣，适用于不同的应用
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 5990
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
KOS+VLLM测试deepseek基准性能
SGY_GF的博客
07-25 930
浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接id=12126vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和降低延迟。vLLM通过优化内存管理和调度策略，显著提升了模型在高并发场景下的性能。
手把手教你驯服DeepSeek-R1！部署+测试+性能优化万字全攻略
m0_48891301的博客
02-28 1907
联网搜索可以获取到最新的讯息使得模型对于实时问题的回答更加准确，70B和671B的模型回答信息略有不同，但都没有事实错误。而70B不联网就会出现对一些实时新闻和知识的缺失并出现错误回答。
DeepSeek本地部署之deepseek-r1-distill-llama-70b 本地部署与 AI 应用实践
热门推荐
m0_60674045的博客
02-08 1万+
已更新实测有效的硬件配置方案。近年来，大型语言模型（LLM）的快速发展为企业数字化带来了前所未有的机遇。然而，中小企业在使用诸如 GPT-4 这类云端大模型服务时，往往面临数据隐私、使用成本和网络依赖等方面的挑战。本地化部署大型模型成为一种趋势：将模型部署在企业自己的服务器上，数据不出内网，既保证了敏感信息的安全，又能根据企业需求对模型进行定制优化。是一款备受关注的开源大语言模型，参数规模高达 700 亿。作为 DeepSeek 系列的高性能版本，它在多个基准测试中表现出色。
使用 vLLM 解锁更快的 LLM 服务：分步指南
iCloudEnd的博客
05-15 344
在继续之前，请确保了解 vLLM 提供的内容。针对不同行业的 LLM 部署进行了根本性改进吞吐量比 Hugging Face Transformers 高出24 倍，无需修改底层模型架构基于 PagedAttention，一种先进的注意力管理技术。通过智能地将键值缓存划分为更小的动态块（称为“页面”），PagedAttention 可最大程度地减少内存浪费并优化 GPU 利用率。单输出完成：吞吐量比 Hugging Face Transformers高 14 倍至 24 倍；
Linux本地部署DeepSeekR1-70B量化版
m0_74139794的博客
03-03 3662
注：一般来说第一次启动模型会存在各种各样的问题导致模型不能正常启动，遇到的问题百度一下应该能解决。这里下载的Deepseek-R1-70B-AWQ，vLLM不支持4bit的量化版本。已经安装好的跳过，python>=3.8，我的python为3.10。下载huggingface依赖包，我们通过这个来下载量化后的模型。可能存在部分模型没有下载下来的情况，需要手动下载到模型保存目录。设置模型下载的环境变量，这里使用的是国内的镜像地址。文件夹内主要是模型切片文件，以及该模型的配置文件。ChatBox下载地址。
vLLM加速推理的内部原理详解
日常学习与专研的记录
07-24 8133
本文详细介绍 vllm 加速推理的内部原理，从 vllm 的背景以及最后的原理详细阐述。
vllm部署deepseek
02-05
### 如何使用 VLLM 部署 DeepSeek 为了通过 VLLM 成功部署 DeepSeek 模型，可以遵循如下方法： 进入 KubeRay 集群中的任意容器并执行特定命令来启动 DeepSeek-V3 模型服务。具体操作是在终端输入以下指令以连接到目标 Pod 并启动模型服务[^2]。 ```bash kubectl exec -it $( kubectl get pod -n deepseek | awk 'NR>1 {print $1}' | grep kuberay-head ) bash -n deepseek vllm serve /model/deepseek-ai/DeepSeek-V3 \ --tensor-parallel-size 16 \ --gpu-memory-utilization 0.95 \ --num-scheduler-steps 20 \ --max-model-len 8192 \ --trust-remote-code ``` 对于希望简化配置流程的情况，也可以考虑采用精简版的 DeepSeek 模型进行本地部署。此时可利用 `vllm serve` 命令搭配相应参数完成快速设置[^3]。 ```bash vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \ --tensor-parallel-size 2 \ --max-model-len 32768 \ --force-eager ``` 确保环境中已正确安装 vLLM 及其依赖项是必要的前提条件之一。这通常涉及创建新的 Conda 环境以及安装指定版本的 Python 和其他必要库文件[^5]。 ```bash conda create -n vllm_qwen python=3.10 conda activate vllm_qwen python -m pip install --upgrade pip pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install vllm pip install modelscope[framework] ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值