手把手部署！win11系统把DeepSeek-R1蒸馏-Qwen-7B推理起来！vllm高吞吐，附模型下载

最新推荐文章于 2025-10-30 02:49:05 发布
原创 最新推荐文章于 2025-10-30 02:49:05 发布 · 1.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #AGI #AI大模型 #DeepSeek #模型蒸馏 #计算机 #干货分享

人的专注力只有10分钟，今天内容非常简单：

① 推理环境与准备

② 全尺寸下载DeepSeek1.5B/7B/8B/14B/32B/72B等

③ 本地跑起来，兼容openai api格式推理

④ 将模型接入RAG-langchain中

第一部分：推理环境与准备

本次实践全程使用win11系统，具体环境与版本，是这样的：

操作系统：win11-wsl2

显卡：RTX3090*24G*2张

Python版本：3.10

依赖管理：conda

推理工具：vllm

cuda版本：12.4

pytorch版本：2.5.1

如果你还未搭建AI环境及wsl，请你到这里，先跟着操作，搭建好自己的AI环境，否则无法继续

打开你的wsl！

在这里插入图片描述

如果你未用过，图标是这样的：

未安装？到开头的第一个链接安装！

创建conda环境！

我们统一使用conda来管理依赖，以免版本冲突，养成习惯，你应该每做一个项目，都是新的环境！

在刚刚你打开的这个窗口，输入指令，回车！

指定环境名称“ds”，指定Python版本3.10

conda create --name ds python=3.10

输入“y”，回车确认！

在这里插入图片描述

激活进入“ds”环境！

等待几秒后，激活当前的环境！

conda activate ds

激活后，前面会多一个环境名称，说明进入成功了！

在这里插入图片描述

安装pytorch！

我们cuda是12.4版本，现在，我们要安装对应的版本才行！

在环境中输入以下指令，回车安装！

conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=12.4 -c pytorch -c nvidia

如果你的是其他版本的cuda，比如11.8/12.1，你可以到这里下载！

https://pytorch.org/get-started/previous-versions/

这里看网速了，网速越快，耗时越短！

在这里插入图片描述

安装vllm！

直接安装最新版本即可！兼容！

在同一个命令窗，输入以下指令，回车！

pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

这里，我们使用清华源下载，避免网络不畅，网速慢问题！

在这里插入图片描述

到这里，环境，全部搞掂！

如果你有任何报错，请你确认，是否进入了新的conda环境！

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

第二部分：全尺寸模型下载！

授人以鱼不如授人以渔

模型下载，你可以自己在hugging face或魔搭下载！

hugging face：https://huggingface.co/models

魔搭：https://www.modelscope.cn/organization/deepseek-ai

假设你已经拿到了所有下载连接，你可以根据自己算力，选择合适的参数，下载到本地！

比如我要下载7B的，下载连接就是这个：

git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git

还是在这个窗口，粘贴以上链接，回车！

会自动下载！

模型文件保存到当前文件夹！

在这里插入图片描述

第三部分：讲模型推理起来，暴露API供下游调用！

万事具备

还是在这个窗口！

输入以下指令，回车！推理！

vllm serve /root/model/DeepSeek-R1-Distill-Qwen-7B --served-model-name DeepSeek-R1-Distill-Qwen-7B --max-model-len 4096 --api-key token-abc123 --enable-auto-tool-choice --tool-call-parser hermes

出现这样，就说明推理成功了！

在这里插入图片描述

简单说一下参数吧！

–served-model-name DeepSeek-R1-Distill-Qwen-7B

API 中使用的模型名称。如果提供了多个名称，则服务器将响应提供的任何名称。响应的 model 字段中的模型名称将是此列表中的第一个名称。如果未指定，则模型名称将与参数相同。

–max-model-len 4096:

最大模型长度：指定模型能够处理的最大序列长度。在这里，最大长度设置为4096个词元（tokens），增加这个值可以让模型处理更长的文本，但同时也需要更多的计算资源和时间

–api-key token-abc123:

API密钥：用于身份验证的密钥，以确保只有授权用户能够访问模型服务。在这里，API密钥是“token-abc123”

–enable-auto-tool-choice

为支持的模型启用自动工具选择。用于指定要使用的解析器，–tool-call-parser

–tool-call-parser

根据您使用的模型选择工具调用解析器。这用于将模型生成的工具调用解析为 OpenAI API 格式，需要：–enable-auto-tool-choice

如果你想了解更多参数，可以到这里：

https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html！

第四部分：如何接入RAG-langchain中

因为上面，我们已经完全本地部署了

兼容openai api格式

理论上，你可以接到任何的应用中

现在演示如何接入langchain中！

from langchain_community.llms import VLLMOpenAI

llm = VLLMOpenAI(
	openai_api_key="token-abc123",
	openai_api_base="http://localhost:8000/v1",
	model_name="DeepSeek-R1-Distill-Qwen-7B",
	model_kwargs={"stop": ["."]},
)
print(llm.invoke("1+1等于几？"))

就如此简单！

后面，我们会使用这个模型，接入到agent，测试DeepSeek-R1-Distill系列的函数调用能力！

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料。包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程扫描领取哈）
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
在这里插入图片描述

在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程扫描领取哈）
在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程扫描领取哈）
在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程扫描领取哈）
在这里插入图片描述
在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程扫描领取哈）
在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：本地部署与API服务快速上手
寻道AI，探索AI无限可能！
03-17 2101
在人工智能飞速发展的今天，大语言模型已成为推动创新的核心力量。DeepSeek-R1-Distill-Qwen-7B 是深度求索（DeepSeek）推出的蒸馏版大语言模型，基于 Qwen-7B 进行知识蒸馏训练。它在保留 90% 以上性能的同时，显著降低了推理成本，为开发者提供了高性价比的选择。本教程将手把手教你如何借助 FastAPI 框架，将这一强大的模型部署为 API 服务，让应用开发更加便捷。
【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：Web聊天机器人部署指南
寻道AI，探索AI无限可能！
03-19 3400
随着人工智能技术的飞速发展，大语言模型已成为推动智能化应用的关键力量。DeepSeek-R1-Distill-Qwen-7B 作为一款高性能的蒸馏模型，不仅继承了大模型的强大推理能力，还通过优化大幅降低了部署成本。本文将手把手教你如何基于该模型搭建一个支持 128K 上下文、可视化思考过程的 Streamlit 聊天机器人，为用户提供智能且交互性强的体验。无论你是 AI 初学者还是技术爱好者，都能通过本文的详细指导轻松上手！
深度学习（七）——python3.6环境下使用open_nsfw鉴别色情图片（基于tensorflow）
热门推荐
QQ704630835的博客
02-13 5万+
一、背景 nsfw指“Not Suitable For Work”，就是含蓄的表达不宜浏览的内容。最近需要做一小部分关于色情图片识别的工作，就把最基础的工作内容记录下来。 二、现有方法 用于鉴别色情图片的现有方法基本有3种思路： 1. 利用python的nonude模块直接识别 这个思路是我看一篇博客中的介绍：用 Python 鉴别色色的图片。这篇博客介绍的还是很详细的，这个模块的原理是...
图片风控NSFW(not suit for work)-1 tensorflow2模型重构
weixin_42529756的博客
10-09 7647
tensorflow2 ResNet50 nsfw 图片风控 not suit for work
DeepSeek-R1-Distill-Qwen-7B：70亿参数模型实现推理能力跃升，数学编程双突破
gitblog_00473的博客
10-30 711
近日，人工智能领域再添突破性成果——DeepSeek-R1-Distill-Qwen-7B模型正式发布。作为基于Qwen2.5-Math-7B架构开发的蒸馏模型，该模型通过DeepSeek-R1大模型生成的高质量推理数据进行针对性微调，成功将数学解题、代码编写与逻辑推理三大核心能力推向新高度。实测数据显示，其在AIME 2024数学竞赛基准中实现55.5%的单次通过率，MATH-500专业数学数据...
NSFW、工作不安全 (Not Safe for Work)
qq_15821487的博客
08-02 1万+
nsfw什么颜色 Casimior PT/Shutterstock 卡西米PT /快门 NSFW is an odd, versatile internet acronym that’s found its way into internet articles and social media posts. But what does NSFW mean, where’d it come from, and how do you use it? Do...
PyCharm 接入 DeepSeek 完整版教程来了！
Y525698136的博客
02-10 1万+
PyCharm 接入 DeepSeek 完整版教程来了！
PyCharm接入DeepSeek实现AI编程
qq_63708623的博客
01-26 4万+
DeepSeek 是一家专注于人工智能技术研发的公司，致力于开发高性能、低成本的 AI 模型。DeepSeek-V3 是 DeepSeek 公司推出的最新一代 AI 模型。其前身是 DeepSeek-V2.5，经过持续的优化和升级，V3 版本在性能、速度和成本方面都取得了显著提升。DeepSeek-V3 的发布表明，国产 AI 模型在技术层面已经具备与国际顶尖模型（例如 GPT-4o）竞争的实力。接下来，我们把DeepSeek接入到PyCharm中，并利用其能力辅助我们进行代码开发。
【DeepSeek微调实践】复现前沿模型：基于 DeepSeek-R1 蒸馏数据训练专属中文推理模型全攻略
寻道AI，探索AI无限可能！
04-02 1529
DeepSeek-R1 模型以其卓越的性能在自然语言处理领域引起了广泛关注，其基于 R1 蒸馏数据进行 SFT（Supervised Fine-Tuning）的小模型也展现出了强大的效果。近期，一位在 NLP 领域极具影响力的专家“刘聪 NLP”开源了中文 DeepSeek-R1（满血）蒸馏数据集，包括 SFT 版本和普通版本。这一数据集的发布，迅速吸引了众多研究者和开发者的目光，并成功登上了 HuggingFace Trending 榜。
【DeepSeek微调实践】DeepSeek-R1大模型基于MS-Swift框架部署/推理/微调实践大全
寻道AI，探索AI无限可能！
03-31 9194
MS - Swift 是一款专为大模型部署而精心打造的高效框架，具备出色的兼容性与丰富的功能特性。在模型类型支持上，无论是专注于文本处理的纯文本模型，还是融合文本、图像、音频等多种信息模态的多模态模型，亦或是擅长文本序列分类任务的序列分类模型，MS - Swift 均能为其提供适配的部署环境。另外在功能层面，MS - Swift 框架提供了基于 Gradio 的 Web UI。
【DeepSeek应用实践】Ollama Deep Researcher：Ollama平台部署DeepSeek-R1，打造本地AI研究助手
寻道AI，探索AI无限可能！
04-01 1801
在当今数字化信息爆炸的时代，高效获取和整理信息成为了科研工作和专业研究中的关键环节。随着人工智能技术的飞速发展，大语言模型（LLM）在信息处理和自然语言理解方面展现出了巨大的潜力。Ollama Deep Researcher 应运而生，它是一款结合了 LangChain 和 Ollama 框架优势的本地化 AI 研究助手，旨在通过自动化的方式帮助用户进行深度网络调研和报告撰写，为研究人员和专业人士提供了一种高效、安全且灵活的研究工具。
PyCharm接入DeepSeek超详细完整教程，实现高效AI编程
阿黎逸阳的博客
03-08 1316
一文弄清PyCharm接入DeepSeek方法
高效编程指南：PyCharm与DeepSeek的完美结合
二哥为啥不像程序员？
03-07 3555
DeepSeek接入Pycharm前几天DeepSeek的充值窗口又悄悄的开放了，这也就意味着我们又可以丝滑的使用DeepSeek的API进行各种辅助性工作了。本文我们来聊聊如何在代码编辑器中使用DeepSeek自动生成代码。注：本文适用于所有的JetBrains开发工具，如Pycharm、Idea等。
PyTorch强化学习——PyTorch基础详解
AAI666666的博客
02-02 2075
我们将使用 PyTorch 作为实现强化学习算法的数值计算库。PyTorch 是 Facebook 开发的科学计算和机器学习库，张量 (Tensor) 是 PyTorch 中的核心数据结构，类似于 NumPy 中的 ndarray。
PyCharm如何调用DeepSeek实现AI编程？手把手教你打造智能开发环境！[特殊字符]
2301_78338084的博客
02-12 2562
通过本文，你已掌握PyCharm与DeepSeek深度集成的全流程。无论是日常开发中的代码优化，还是复杂任务的智能辅助，DeepSeek都能显著提升效率。赶紧动手尝试，体验AI编程的乐趣吧！
运行 70B的LLM，需要多大GPU显存 ?
zxm317122667的专栏
12-14 3085
正如文章标题所言，你是否也曾好奇过：加载使用一个 70B 大小的 LLM，究竟需要多大的 GPU 显存呢？读完这篇文章应该会有答案。为什么是GPU，而不是CPUAI 本质上是大量的矩阵与向量运算 ，属于计算密集型运算，需要大量的内存空间来保存模型的训练参数。一般通用 CPU 运算单元都是标量，而 GPU 是一个把SIMD(单指令多数据)和SIMT(单指令多线程)运用到极致的协处理器，在体...
Pycharm接入本地部署deepseek实现写代码起飞，非常详细收藏我这一篇就够了！
2401_84494441的博客
02-10 5874
在上篇中，讲解了本地部署deepseek，假设代码开发过程中，接入本地部署的deepseek会不会更加起飞呢。本文带领大家解密，如何使用本地部署deepseek.第一步：pycharm安装CodeGPT插件，在设置中 plugins中搜索codegpt，搜索后，然后点击去下载插件可能下载比较慢，我们耐心等待即可。下载成功后，可以重启下pycharm即可，完成后第二步配置deepseek。
pycharm如何接入deepseek
weixin_70682362的博客
04-23 1579
通过以上方案，开发者可在PyCharm中实现从基础API调用到复杂业务逻辑的全链路AI赋能。建议根据项目需求选择：新手优先使用插件或SDK；企业级项目采用原生HTTP请求结合云端部署；高性能场景可尝试异步调用和批量处理。同时需注意成本监控与数据安全，确保AI赋能的可持续性。
deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 我希望用vllm部署的是这个模型
最新发布
11-28
<think> 我们参考用户提供的引用来回答如何部署DeepSeek-R1-Distill-Qwen-7B模型。 根据引用[2]中的代码示例，我们可以直接使用vllm serve命令来部署该模型。 同时，引用[1]提到了一些参数，如tensor-parallel-size和max-model-len，但注意引用[1]中部署的是32B模型，我们部署7B模型，所以参数需要调整。 步骤： 1. 安装vLLM（如果尚未安装） 2. 下载模型（可以通过modelscope或者huggingface，但注意国内使用modelscope可能更快） 3. 使用vllm serve命令启动服务 注意：在AutoDL上部署，我们需要考虑显存大小。7B模型在FP16精度下大约需要14GB显存，所以选择24GB显存的GPU即可。 具体步骤： 1. 租用AutoDL实例： - 选择至少24GB显存的GPU（例如RTX3090或RTX4090） - 系统镜像选择Ubuntu 20.04或22.04 2. 创建实例后，进入终端，配置环境： ```bash # 更新包列表 sudo apt-get update # 安装git-lfs（用于下载大模型文件） sudo apt-get install -y git-lfs # 创建并激活conda环境 conda create -n vllm python=3.10 -y conda activate vllm # 安装vLLM（注意：vLLM需要CUDA环境，AutoDL实例已经安装好CUDA） pip install vllm ``` 3. 下载模型： 使用ModelScope下载（国内加速）： ```python # 安装ModelScope pip install modelscope # 编写Python脚本下载模型 from modelscope import snapshot_download model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B', cache_dir='/root/autodl-tmp/models') ``` 下载完成后，模型会保存在`/root/autodl-tmp/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B`目录下。 4. 启动vLLM服务： ```bash vllm serve --model /root/autodl-tmp/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \ --tensor-parallel-size 1 \ # 单卡 --max-model-len 2048 \ # 根据引用[2]，设置为2048，也可根据需求调整 --served-model-name DeepSeek-R1-Distill-Qwen-7B \ # 服务名称，用于API调用 --port 6006 \ # 服务端口 --trust-remote-code \ # 该模型可能需要信任远程代码（因为使用了自定义模型结构） --gpu-memory-utilization 0.8 # 显存利用率，0.8表示使用80%的显存，避免OOM ``` 5. 配置AutoDL的网络访问： - 在AutoDL控制台，找到实例，点击“自定义服务” - 添加端口映射：容器端口6006，外部端口自定义（比如6006，但实际外部访问端口由AutoDL分配） - 获取公网访问链接，格式为：`https://<实例ID>-6006.app.autodl.com` 6. 测试API： ```bash curl https://<实例ID>-6006.app.autodl.com/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "DeepSeek-R1-Distill-Qwen-7B", "prompt": "北京是中国的", "max_tokens": 20 }' ``` 注意事项： - 如果模型需要远程代码（比如该模型基于Qwen架构，而vLLM默认不支持），则必须添加`--trust-remote-code`参数。 - 根据引用[2]，最大序列长度设置为2048，但也可以根据需求调整（如设置为4096），但注意显存占用会随着max_model_len增加而增加。 - 如果遇到CUDA out of memory错误，可以尝试降低`--gpu-memory-utilization`（例如0.7）或者减少`--max-model-len`。 引用说明： [1] 提到使用tensor-parallel-size为2（用于32B模型），但我们部署7B模型，单卡足够，所以设置为1。 [2] 提供了部署7B模型的命令，我们参考了其中的参数，如端口、模型名称和最大长度。 因此，我们按照上述步骤即可部署DeepSeek-R1-Distill-Qwen-7B模型。 如果用户需要多卡并行，则需租用多卡实例，并调整`--tensor-parallel-size`为GPU数量，但7B模型单卡即可。 生成相关问题： 1. 如何调整vLLM参数以优化DeepSeek-7B模型的推理性能？ 2. DeepSeek-R1-Distill-Qwen-7B模型在vLLM上部署时出现OOM错误怎么办？ 3. 如何通过API调用DeepSeek-R1-Distill-Qwen-7B模型生成文本？ 4. vLLM支持DeepSeek模型的哪些特性（如连续对话）？ 5. 在AutoDL上部署vLLM服务如何实现开机自启动？ </think> ### 在 AutoDL 上部署 DeepSeek-R1-Distill-Qwen-7B 的完整指南 #### 🚀 部署步骤（基于引用[1][2]的最佳实践） 1. **租用 GPU 实例** - 推荐配置：**24GB 显存** GPU（如 RTX 3090/4090） - 系统镜像：`Ubuntu 20.04`（已预装 NVIDIA 驱动） 2. **安装 vLLM 环境** ```bash # 创建虚拟环境 conda create -n vllm python=3.10 -y conda activate vllm # 安装 vLLM（支持 DeepSeek 模型） pip install vllm transformers ``` 3. **下载模型**（国内推荐使用 ModelScope） ```bash pip install modelscope python -c "from modelscope import snapshot_download; snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B', cache_dir='/root/autodl-tmp')" ``` 4. **启动服务**（关键参数说明） ```bash vllm serve \ --model /root/autodl-tmp/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \ --served-model-name DeepSeek-R1-Distill-Qwen-7B \ # API 调用标识[^2] --port 6006 \ # 服务端口 --max-model-len 2048 \ # 上下文长度（根据引用[2]优化）[^2] --tensor-parallel-size 1 \ # 单卡部署 --gpu-memory-utilization 0.85 \ # 显存利用率 --trust-remote-code # 必需参数（自定义模型结构） ``` 5. **配置网络访问** - 在 AutoDL 控制台添加端口映射 - 容器端口：`6006` → 外部端口（如 `6006`） - 获取访问链接：`https://<实例ID>-6006.app.autodl.com` #### ✅ 验证部署 ```bash curl -X POST https://<你的实例链接>/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "DeepSeek-R1-Distill-Qwen-7B", "prompt": "深度学习中的注意力机制是指", "max_tokens": 100, "temperature": 0.7 }' ``` #### ⚠️ 关键注意事项 1. **显存优化** - 7B 模型约需 14GB 显存，设置 `--gpu-memory-utilization 0.85` 避免 OOM - 若出现 `CUDA out of memory`，可降低上下文长度（`--max-model-len 1024`） 2. **模型特性支持** - 必须添加 `--trust-remote-code`（因 DeepSeek 使用自定义架构）[^3] - 首次加载需编译内核（约 2-5 分钟） 3. **性能调优** ```bash # 启用连续批处理（提高吞吐量） --enforce-eager # 使用半精度（减少显存占用） --dtype half ``` #### 💡 典型应用场景 ```python # Python API 调用示例 from vllm import LLM, SamplingParams llm = LLM(model="DeepSeek-R1-Distill-Qwen-7B") prompts = ["解释量子计算原理：", "写一首关于春天的诗"] sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=128) outputs = llm.generate(prompts, sampling_params) for output in outputs: print(f"Prompt: {output.prompt}\n生成: {output.outputs[0].text}\n") ``` > 📌 **部署优势**：相比原始 Qwen-7B，DeepSeek-R1-Distill-Qwen-7B 推理速度提升 40%，显存占用减少 30%（基于蒸馏技术）[^3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值