windows下玩转vllm:在wsl下安装vllm


前言

当前,部署通义千问2.5-vl已经是一件箭在弦上,不得不发的事儿了。

网上搜了一下,发现还是用vllm用的比较多。

于是乎,这就开始尝试部署vllm。

但是我们之前说了,vllm是不支持直接在windows上部署的,我们还得搞wsl或者docker。

咱今天先尝试使用wsl进行安装哈。

安装wsl

这个咱之前写过,我直接粘贴到附录里。有需要的,可以先滑倒最后查看哈(这部分是直接用的之前的文章。如果安装过程中出现任何问题,请评论区留言,或者进群提问)。咱姑且认为大家都装好wsl了,所以我们继续往下走。

启动wsl的默认分发

wsl

在这里插入图片描述

使用python部署vllm

创建并激活虚拟环境

直接说结论

没有pip的话,咱先安装一下pip

sudo apt install python3-pip

再安装uv

### 如何在 Windows 系统中安装 VLLM 框架 由于 VLLM 是一种高性能的大规模语言模型推理引擎,其设计初衷主要针对 Linux 平台进行了优化和支持。然而,在 Windows 上直接安装 VLLM 可能会遇到兼容性问题以及依赖库缺失的情况[^2]。 #### 解决方案一:通过 WSL (Windows Subsystem for Linux) 安装 WSL 提供了一个接近原生 Linux 的环境,可以在不改变现有操作系统的前提下运行许多基于 Linux 的工具和服务。以下是具体方法: 1. **启用并更新 WSL** 需要先确认已启用了 WSL 功能,并将其升级至最新版本(推荐使用 WSL 2)。可以通过 PowerShell 执行以下命令来完成设置: ```powershell wsl --install ``` 2. **切换到支持的发行版** 推荐选择 Ubuntu 或其他主流 Linux 发行版作为基础系统。如果尚未安装任何发行版,则可以执行如下指令自动下载和配置默认选项: ```powershell wsl --set-default-version 2 ``` 3. **克隆 VLLM 存储库** 进入所选的 Linux 终端后,利用 Git 将官方存储库复制下来以便后续编译部署: ```bash git clone https://gitcode.com/gh_mirrors/vl/vllm.git cd vllm ``` 4. **满足前置条件与构建过程** 根据文档说明准备好必要的 Python 版本及相关扩展包之后再继续下一步骤。通常情况下需要 pip 工具帮助解决大部分依赖关系: ```bash python3 -m pip install --upgrade pip setuptools wheel pip install -r requirements.txt make build ``` 5. **验证成功与否** 如果一切顺利的话应该能够正常启动测试样例程序从而证明集成无误。 #### 方案二:借助 Docker 实现跨平台移植 另一种更为简便的方式就是依靠容器化技术——Docker 来屏蔽底层差异实现无缝迁移。此途径无需关心目标机器的实际架构特性即可快速搭建开发调试环境。 1. 下载并注册合法账户获取客户端软件; 2. 寻找匹配镜像资源上传本地或者拉取远程仓库已有成品; 3. 启动实例加载对应参数文件开始体验之旅吧! 无论采取哪种方式都需要特别注意安全性防护措施以免泄露敏感资料给未经授权人员知晓[^3]。 ```python import os from pathlib import Path def check_wsl(): """Check whether the current environment is running under WSL.""" return 'Microsoft' in str(Path('/proc/version').read_text()) if __name__ == "__main__": if not check_wsl(): raise EnvironmentError("Please run this script inside a WSL environment.") ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

几道之旅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值