windows使用wsl部署vllm

最新推荐文章于 2025-11-30 18:24:05 发布
原创 最新推荐文章于 2025-11-30 18:24:05 发布 · 696 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #vllm

windows安装nvidia驱动

确保在cmd下可使用nvidia-smi命令,命令输出正常代表显卡驱动已经安装成功
并且记住自己的cuda版本,我这里是12.7,后面很多地方都要用到这个版本号

C:\Users\Administrator>NVIDIA-SMI
Sun Nov 30 10:21:57 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 566.43                 Driver Version: 566.43         CUDA Version: 12.7     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                  Driver-Model | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4050 ...  WDDM  |   00000000:01:00.0  On |                  N/A |
| N/A   44C    P5              4W /   95W |    1355MiB /   6141MiB |     38%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A      3104    C+G   ...n 2025.1.1.1\jbr\bin\cef_server.exe      N/A      |

nvidia可以根据产品找到对应的驱动:

https://www.nvidia.cn/drivers/lookup/

需要使用studio版本的驱动.不要用game的驱动
在这里插入图片描述

创建WSL2

windows自带的WSL是WSL1,我们需要升级成WSL2,升级WSL2的具体过程请自行百度方案,这里只记录几个关键过程

1要开启CPU虚拟化,
在这里插入图片描述
2 选择一个Ubuntu镜像,网上很多教程是需要在Microsoft store里面下载镜像,但是这个商店经常打不开,可以使用其他方式下载.
比如ubuntu的下载:https://ubuntu.com/desktop/wsl
然后使用命令:

wsl --install --from-file Ubuntu2404-250130_x64.wsl

3 wsl默认装在C盘,可以迁移到D盘

4 设置wsl默认使用的系统,

C:\Users\Administrator>wsl -l 
适用于 Linux 的 Windows 子系统分发:
Ubuntu-24.04 (默认)
docker-desktop

更新和配置ubuntu系统

ubuntu创建完之后需要对系统进行配置才能更顺滑的安装NVIDIA等

设置ubuntu更新源到国内,加快网速:

我这里是24.04,和之前版本的ubuntu设置的方式不太一样,
更改/etc/apt/sources.list.d/ubuntu.sources这个文件,到如下(要根据自己下载的ubuntu的版本更改文件内容,请自行百度)

# 阿里云
Types: deb
URIs: http://mirrors.aliyun.com/ubuntu/
Suites: noble noble-updates noble-security
Components: main restricted universe multiverse
Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg

更新系统软件

sudo apt-get update
sudo apt-get upgrade

安装必要的软件

需要额外安装ubuntu的软件,执行下面的命令进行安装

sudo apt-get install -y build-essential dkms

build-essential 是编译相关的软件包,里面包含c++的相关东西,
dkms 与linux内核有关,可是让显卡驱动程序适配的更好

禁用开源nvdia的驱动程序

Nouveau 是一个开源的nvidia的显卡驱动,如果存在这个驱动会有问题,使用linux的内核黑名单机制进行禁用
创建文件:

/etc/modprobe.d/blacklist-nouv.conf

文件内容:

blacklist nouveau
blacklist lbm-nouveau                                                                                                                                                             
options nouveau modeset=0

blacklist表示禁用驱动,options表示禁用内核参数
文件编辑完成后需要对系统进行更新:

update-initramfs -u

update-initramfs 是在 Linux 系统中用于更新 initramfs 归档文件的一个命令。initramfs（初始内存文件系统）是一个临时的根文件系统，它在系统启动过程中加载到内存中。它包含了启动时直到可以挂载真正的根文件系统所必需的驱动程序和工具。这个机制允许内核在实际的根文件系统可用之前，访问硬件设备，如磁盘控制器和网络接口。

如果提示命令不存在,可以先用apt-get安装这个程序
然后对linux进行重启.

如果使用其他linux系统需要参考下面的文章:
https://support.huawei.com/enterprise/zh/doc/EDOC1100128448/3f25d09f

安装miniconda,管理python环境

在家目录创建一个miniconda3的文件夹

在文件夹中下载miniconda的安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

然后使用bash执行这个脚本

bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3

安装完成之后激活miniconda3,

bash
~/miniconda3/bin/conda init bash
对于zsh文件
~/miniconda3/bin/conda init zsh

然后使用source命令让path命令得到更新,

对与bash: source /root/.bashrc

执行之后,会在命令行最前面出现一个base的只是,代表当前是base的python环境
在这里插入图片描述

使用conda创建一个3.12的python环境

conda create --name vllm python=3.12
conda activate vllm

这样命令行前面的base会变成vllm.
教程后面所有的命令执行都需要在vllm环境下进行.

安装cuda

访问这个网站:

https://developer.nvidia.com/cuda-toolkit-archive

找到你对应的nvidia-smi命令下得到的cuda版本,如果有一样的就选一样,不一样就选低一个版本的,我是12.7…这边的tookit就只能选择12.6.3

在这里插入图片描述

然后选择对应的版本,把这个run文件下载下来.不要用wget下载,我使用迅雷下来的.
在这里插入图片描述

下载下来之后,需要在命令中运行, 下面的命令需要替换成具体的文件名,记得在文件的所在的目录执行命令

首先给文件增加运行权限 chmod a+x cuda*****.run
./cuda****.run

如果弹出下面的界面,选择continue,这是因为他找到了驱动,后面可以选择不另外安装驱动就好了
在这里插入图片描述
如果driver这边有X,代表重新安装驱动,我们按下回车把driver这行变空…然后继续选择install等待安装完成
在这里插入图片描述
安装完成之后需要配置环境变量. 文件内容的cuda版本需要根据实际安装的版本进行变更.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-12.6/lib64
export PATH=$PATH:/usr/local/cuda-12.6/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-12.6

安装完成之后,需要执行source ~/.bashrc命令更新命令行环境

确认安装完成,可以执行nvcc --version

(vllm) abc@MS-DFVZOBLLJNXI:/etc/modprobe.d$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Tue_Oct_29_23:50:19_PDT_2024
Cuda compilation tools, release 12.6, V12.6.85
Build cuda_12.6.r12.6/compiler.35059454_0

安装pytorch

pythorch不要用pip安装,因为pip无法解析cuda的版本.需要使用官方的工具安装.

https://pytorch.org/get-started/locally/
在这里插入图片描述

安装vllm

pip install vllm

确认安装成功

(vllm) abc@MS-DFVZOBLLJNXI:/etc/modprobe.d$ vllm --version
0.11.2
windows下玩转vllm：在wsl下安装vllm
xiezhipu的博客
03-01 3229
当前，部署通义千问2.5-vl已经是一件箭在弦上，不得不发的事儿了。网上搜了一下，发现还是用vllm用的比较多。于是乎，这就开始尝试部署vllm。但是我们之前说了，vllm是不支持直接在windows上部署的，我们还得搞wsl或者docker。咱今天先尝试使用wsl进行安装哈。
Window环境下使用VLLM高效推理框架本地部署模型
weixin_44822312的博客
06-15 4001
本文介绍了在Windows系统下使用WSL部署vLLM高效推理框架的完整方案。首先对比了Ollama、VLLM、SGLang、LightLLM和Llama.cpp等主流本地大模型部署框架的特点。重点讲解了在Windows中安装WSL的详细步骤，包括系统要求、功能启用和Ubuntu子系统安装。随后展示了如何在Linux环境中搭建vLLM运行环境，包括Anaconda的安装配置。该方法实现了Windows与Linux系统的无缝交互，使开发者能在保留Windows游戏娱乐功能的同时，获得高效的本地大模型推理能力，
从零开始，在Windows环境部署vllm
JehanRio's Private Blog
07-30 4149
由于vllm需要在linux环境上才行，而博主不想再去下载vmware了，故采用wsl+docker的方式部署。
Windows离线部署vllm
java_Lrui的博客
07-25 7396
由于这个包比较大，在浏览器里点击下载链接右键，提取下载地址，打开迅雷或者其他第三方下载工具，新建下载任务，由于迅雷有国内的CDN加速，一般下载可以跑满带宽。原来需要8个小时的任务，现在几分钟就好了。重启电脑（注意：需要开启 适用于 Liunx 的 Windows 子系统 的设置 才重新启动计算机 如果已开启，则不需要）的 Windows 子系统 的设置（如果未开启，开启之后需要重启电脑）(对于64位系统，版本1903或更高，版本18362或更高。在cmd命令界面查看是否安装成功，出现跟截图一样，则已成功。
在 Windows 10 中通过 WSL2 安装 vLLM 部署本地大模型的方法和步骤
当 AI 开始写文章、绘星空，甚至预测未来，您还在旁观吗？这里将剖开人工智能的思考逻辑，拆解 AI 创作的底层密码，也聊聊人工智能里的人文温度。每篇都有让你拍案的细节，快来解锁 AI 时代的神奇世界！
09-16 2932
通过 WSL2 在 Windows 10 中部署 vLLM 的核心优势是兼顾 Windows 生态与 Linux 环境的 GPU 加速能力，适合需要在 Windows 下开发但依赖 vLLM 高性能推理的场景。相比原生 Windows 部署（Ollama 等工具），该方案性能更优（接近原生 Ubuntu），且支持更大模型和量化优化。若追求极致性能，建议直接使用 Ubuntu 系统；若必须依赖 Windows 工具链，WSL2 + vLLM 是当前最优选择。
window基于wsl部署vllm流程及踩坑经历（包含cuda toolkit、nvcc版本问题）
a66920164的博客
02-28 6295
本文详述在Windows 11通过WSL搭建vLLM开发环境的流程。核心要求vLLM、PyTorch与CUDA三者版本必须一致（如CUDA 12.1）。重点解决CUDA版本冲突问题：通过修改环境变量路径、重建软链接确保nvcc版本统一。安装时需手动指定PyTorch的CUDA 12.1版本，并正确部署cuDNN库。最终通过强制安装cu121版PyTorch解决"RuntimeError: named symbol not found"报错，成功运行vLLM服务。
Windows本地部署deepseek R1 使用Vllm
bland107的博客
08-14 353
在这个文件夹中输入以下的内容,networkingMode就是网络模式，默认是NAT，这里我们改成mirrored,镜像模式就是与windows本机的网络配置一样。在你windows的用户文件夹下找到一个.wslconfig的文件，如果没有那你就自己创建一个，用户文件夹的路径通常是C:\Users\<这里是你自己的用户名>可以选择deb的network安装方式，因为我们后面使用vllm，最好安装cuda12.1。Wsl2默认nat网络，本地代理不支持NAT，那么就改成其他模式就好了，具体的步骤如下。
手把手教你！在Windows上玩转vLLM：WSL部署全攻略（接上期Docker版）
瓦罗兰特顶级C位的博客
10-29 1523
今天，我们将解锁更直接、更“本地化”的玩法——利用Windows Subsystem for Linux (WSL)，在你的Windows电脑上原生部署vLLM！
Windows11家庭版 使用vllm部署本地模型
weixin_55929677的博客
09-17 973
本文介绍了在Windows系统上配置AI开发环境的完整流程：1）通过批处理脚本安装Hyper-V功能；2）使用PowerShell安装WSL和Ubuntu子系统；3）在Ubuntu中安装Miniconda并创建Python虚拟环境；4）针对AMD x86架构安装vLLM服务，推荐使用ModelScope模型；5）提供vLLM服务启动参数配置建议；6）最后演示了如何通过OpenAI接口调用vLLM服务，包括工具调用的处理逻辑。整个过程涵盖了从系统配置到模型部署的关键步骤，特别强调了工具调用场景下的错误处理和流
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1822
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
信息检索13
2301_80828873的博客
11-26 2164
最近邻检索的方法，PQ，IVF,HNSW
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1092
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
最新发布
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 820
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 1612
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1376
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 769
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 573
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
【人工智能】【深度学习】 ② GAN核心算法介绍：生成器与判别器的博弈艺术
xiezhiyi007的专栏
11-27 995
本文为【人工智能】【深度学习】系列第②篇，深入浅出讲解生成对抗网络（GAN）的核心原理。从“造假者 vs 警察”的大白话比喻出发，逐步推导极小极大博弈公式，详解生成器与判别器的对抗机制，并对比 CNN、RNN 的本质差异。附带完整 PyTorch 代码实现（逐行注释），涵盖 DCGAN 架构、训练流程与工程技巧，适合零基础读者入门生成式 AI。结尾预告下一期 Transformer 主题，延续系统化学习路线。
YOLOv8训练过程日志-深度解析
搏博的专栏
11-28 946
特别值得注意的是不同类别的性能差异：phone类别的召回率达到0.462，明显高于car类别的0.286，这可能源于两个类别在训练数据中的分布差异、目标特征的明显程度等因素。值得注意的是，损失函数的下降过程并非单调的，而是存在一定的波动，这是梯度下降优化的正常现象。值得注意的是，虽然训练提前停止，但模型已经学习到了有意义的特征表示，这为后续的微调或迁移学习奠定了基础。的训练中，这些指标虽然数值较低，但这在小型数据集和有限训练时间的条件下是正常的，重要的是观察这些指标在训练过程中的变化趋势。
WSL部署vllm
03-18
### 部署 vLLM 框架于 Windows Subsystem for Linux (WSL) #### 准备工作 为了成功部署 vLLM，在 WSL 环境下需要满足一定的先决条件。首先，确认操作系统为 Windows 10 或更高版本，并启用 WSL 功能以及安装所需的 Linux 发行版（如 Ubuntu）。这可以通过以下命令完成： ```bash wsl --install ``` 此操作会自动设置 WSL 和默认的 Linux 发行版[^2]。 #### 安装必要的依赖项 在 WSL 中启动终端并更新包管理器以确保获取最新版本的库文件： ```bash sudo apt update && sudo apt upgrade -y ``` 接着，安装 NVIDIA CUDA 工具链和其他必需组件来支持 GPU 加速计算。对于显卡内存大于等于 22GB 的设备，推荐使用最新的稳定版 CUDA 版本[^1]: ```bash sudo apt install nvidia-cuda-toolkit ``` 此外，还需要 Python 及其开发工具集： ```bash sudo apt install python3-pip python3-dev build-essential libssl-dev libffi-dev ``` #### 创建虚拟环境 建议创建独立的 Python 虚拟环境以便更好地管理和隔离项目依赖关系： ```bash python3 -m venv vllm-env source vllm-env/bin/activate pip install --upgrade pip setuptools wheel ``` #### 安装 vLLM 库及其依赖 通过 `pip` 命令可以直接从 PyPI 上下载并安装 vLLM 及其所需的支持模块： ```bash pip install vllm torch transformers accelerate ``` 如果目标硬件具备 NVIDIA 显卡，则应进一步指定 Torch 使用对应的 CUDA 编译版本以优化性能表现。例如，针对 CUDA 11.7 的情况可执行如下指令： ```bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 ``` #### 运行测试实例 验证整个流程是否正常运作的一个简单方法就是加载预训练模型并通过 API 提供推理服务。下面给出一段基本代码示例展示如何实现这一点： ```python from vllm import LLM, SamplingParams # 初始化大语言模型 llm = LLM(model="meta-llama/Llama-2-7b-hf") # 设置采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 输入提示词进行生成 outputs = llm.generate(["你好世界"], sampling_params=sampling_params) for output in outputs: print(output.outputs[0].text) ``` 以上脚本将尝试连接到 Hugging Face 平台上的公开可用权重数据源，并基于给定输入序列产生相应输出[^4]。 #### 性能调优与监控 最后一步涉及调整具体配置选项从而达到最佳效率水平的同时保持稳定性。可以考虑引入容器化解决方案比如 Docker 来简化跨平台迁移过程；或者利用 IDE 插件增强用户体验质量[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值