Windows离线部署vllm

最新推荐文章于 2025-05-26 20:41:36 发布
最新推荐文章于 2025-05-26 20:41:36 发布
阅读量6.4k 收藏 38
点赞数 25
文章标签： windows 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java_lrui/article/details/140680806
版权

1、安装WSL2步骤

1.为Linux启用子系统

检查windows功能是否开启了 适用于 Liunx 的 Windows 子系统 的设置（如果未开启，开启之后需要重启电脑）

cmd命令 wsl -l -v 检查管理适用于 Liunx 的 Windows 子系统的分发，如果没有分发版的则执行：

1、wsl -l -v

2、

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

重启电脑（注意&#x

最低0.47元/天 解锁文章
LI谨川
关注
windows下玩转vllm：vllm简介；Windows下不能直接装vllm；会报错ModuleNotFoundError: No module named ‘vllm._C‘
xiezhipu的博客
02-05 6030
之前做大模型的本地部署，一直都用的ollama。ollama给我的感觉就是，特别方便，几步就可以把大模型部署好。但我看别人都用的vllm，感觉逼格更高一些。所以也就尝试一下。vLLM（Virtual Large Language Model）是一个由加州大学伯克利分校的LMSYS组织开发的开源大语言模型高速推理框架。它旨在提升实时场景下语言模型服务的吞吐量和内存使用效率，特别适合于需要高效处理大量并发请求的应用场景。
windows下玩转vllm：在wsl下安装vllm后续，设置modelscope作为下载源
xiezhipu的博客
03-02 1222
之前，咱们说了，由于windows不支持直接部署vllm，所以要么采用wsl，要么采用docker。我们目前尝试的是在wsl下进行vllm的安装。
vllm 在 Windows 系统下的安装解决方案
最新发布
bingmeng0818的博客
05-26 1207
输入 docker pull pytorch/pytorch:2.5.1-cuda12.1-cudnn9-devel拉取镜像， 注意 vllm 当前需要 ubuntu 20.04 + cuda12.1 的环境，此镜像恰好满足，如果。目前我们已经成功启动了一个适合于 pytorch 与 vllm 共存的容器，你可以直接键入 python 命令来进行测试 pytorch 的运行效果，检查是否能读取到你的。键入命令 wsl --set-default-version 2 ，将 WSL 版本切换到 WSL2。
nvidia显卡服务器离线环境下通过vllm部署deepseek
一步一步走向大牛
05-09 1014
https://www.python.org/downloads/source/ 压缩包地址。如果不要求操作系统，个人建议使用ubuntu22.04版本。三、安装miniconda3。下载好的压缩包上传到服务器。四、安装nvidia驱动。下载之后上传到服务器。
windows本地部署vllm,运行deepseek大模型
zxhy0123的博客
02-28 7412
windows本地部署vllm,加载大模型
windows下玩转vllm：在wsl下安装vllm
xiezhipu的博客
03-01 2269
当前，部署通义千问2.5-vl已经是一件箭在弦上，不得不发的事儿了。网上搜了一下，发现还是用vllm用的比较多。于是乎，这就开始尝试部署vllm。但是我们之前说了，vllm是不支持直接在windows上部署的，我们还得搞wsl或者docker。咱今天先尝试使用wsl进行安装哈。
在Win11上部署大模型推理加速工具vLLM
热门推荐
培根芝士的专栏
04-08 1万+
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法PagedAttention，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。
windows上用vllm docker容器部署大语言模型
2401_83655422的博客
04-03 1599
通过以上步骤，你可以从拉取镜像开始，完整地运行 VLLM 容器、加载本地模型，并使用 Python 脚本与模型进行对话。如果请求成功，从返回的 JSON 数据中提取模型的回答，并将其添加到消息列表中，以便后续对话。如果模型加载成功，返回的 JSON 数据中会包含模型的详细信息，包括模型的 ID。是 VLLM 的启动参数，用于指定加载的模型路径和张量并行大小。是 VLLM 提供的 API 接口，用于获取已加载的模型信息。以下是完整的 Python 脚本，用于与模型进行对话。
解决离线运行vLLM 启动报dns.google错
Dlite的技术笔记
03-15 1639
根据提示修改“/usr/local/lib/python3.10/dist-packages/vllm/utils.py”，注意不同环境下vLLM安装路径不同。这个bug会在vLLM 0.3.4修复。这段代码的功能是获取本机ip地址。
PC本地部署vllm gemma-2b
yi_xiansen的博客
06-03 4558
普通电脑配置本地运行小参数量大模型，本地部署LLM
05-09 周四 vLLM的部署和实践
不当初
05-09 2212
GitHub项目官方网站上解释了Fast、和flexible and easy to use的原因。参考链接网页描述大模型推理加速工具：vLLM描述了安装，离线推理和在线服务的简单演示比HuggingFace快24倍！伯克利LLM推理系统开源碾压SOTA，GPU砍半描述了优点，并且有很多的图。【LLM】vLLM部署与int8量化-优快云博客。
windows离线部署vllm
01-23
对于在 Windows 环境下准备 vLLM 的离线部署，首先应当创建一个独立的 Python 虚拟环境来管理项目的依赖关系。这可以通过执行如下命令实现： ```bash python -m venv vllm_env vllm_env\Scripts\activate ``` 上述...
windows平台本地部署DeepSeek大模型+Open WebUI网页界面（可以离线使用）
Navy的博客
02-09 3497
windows平台本地部署DeepSeek大模型+Open WebUI网页界面
vLLM推理部署Qwen2.5
小森的博客
10-28 6369
借助vLLM，构建一个与OpenAI API兼容的API服务十分简便，该服务可以作为实现OpenAI API协议的服务器进行部署。适用于大批量Prompt输入，并对推理速度要求高的场景，吞吐量比HuggingFace Transformers高10多倍。它旨在提供高性能、低延迟的推理服务，并支持多种硬件加速器，如 GPU 和 CPU。现在的Ubuntu是最简单配置的，如果使用wget等命令，需要使用apt-get下载再使用。这是一款流行的文本生成Web界面工具，拥有多个交互界面，并支持多种模型后端。
【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：基于vLLM 搭建高性能推理服务器
寻道AI，探索AI无限可能！
03-21 3634
大语言模型的落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeek-R1-Distill-Qwen大语言模型，无论是深度学习新手还是有经验的开发者，都能从中获取实用的知识和技能。# 创建采样参数。temperature 控制生成文本的多样性，top_p 控制核心采样的概率# 初始化 vLLM 推理引擎# 初始化 vLLM 推理引擎。
vllm 离线推理Qwen2.5-VL-Instruct，API部署，支持max_pixels
q742971636的博客
03-24 343
使用这里的最新镜像：启动环境more。
window基于wsl部署vllm流程及踩坑经历（包含cuda toolkit、nvcc版本问题）
a66920164的博客
02-28 4449
本文详述在Windows 11通过WSL搭建vLLM开发环境的流程。核心要求vLLM、PyTorch与CUDA三者版本必须一致（如CUDA 12.1）。重点解决CUDA版本冲突问题：通过修改环境变量路径、重建软链接确保nvcc版本统一。安装时需手动指定PyTorch的CUDA 12.1版本，并正确部署cuDNN库。最终通过强制安装cu121版PyTorch解决"RuntimeError: named symbol not found"报错，成功运行vLLM服务。
通义Qwen实战(2): vllm框架部署实战
@bangbang的博客
03-27 334
通义千问推荐我们使用vllm推理框架，这是国外开源的针对大模型的推理框架。它区别于直接使用huggingface 或者modescope 调用大模型的代码，使用vllm推理时它的速度会更快，并且显存的时候会下降。它会对模型进行结构化的优化，使得推理时耗费更低的显存和算力。因此，通常大模型的在线服务，不会直接使用huggingface 或modescope提供的api, 而是把底层的transformer模型交给专业的推理框架。vllm 推理框架的官网地址:(1) 通过使用。
windows11下的大模型部署 —— 环境准备（组件间版本对应）
ken199533的博客
05-12 2074
因为vllm引入了其他cuda和torch版本，所以如果想使用vllm框架，则建议新建一个conda环境，再安装vllm。根据python版本，选择torch版本，再根据cuda版本选择合适的pytorch-cuda。根据cuda版本，选择对应的cuDNN进行解压，解压缩后替换cuda目录同名文件夹。tips：清华镜像源。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值