在docker环境编译vllm源码

部署运行你感兴趣的模型镜像

初来乍到,想学一学vllm,但是vllm需要配置很多库。由于之前的老版本cuda还在用,但是如果要编译vllm就需要下载库的指定版本,比如之前我的cuda版本是11.8,但是vllm却需要cuda12以上的版本,由于我之前的cuda版本已经跟ffmpeg绑定了(ffmpeg是基于cuda11.8编译的)。为了保证其他库不受影响,于是作者想要在docker环境中配置,来做一个隔离。

首先先下载好docker

我使用的vllm版本,防止大家跟我相同操作后结果不一样:

branch:master

commit id:3567816932e674abce3f44ceb0aff03f73b5aaff

总结下来,作者目前想到两种办法

通过Dockerfile创建

看vllm源码的文件结构,有一个docker目录,vllm官方已经提前写好了Dockerfile,你可以根据需要,自己调整Dockerfile

然后使用下面这个命令(注意要先cd到vllm目录下):

docker build -t [镜像名称]:[镜像版本] -f docker/Dockerfile .

当出现下面这个界面,就说明已经在下载中了:

去Docker-hub下载

还有一种办法就是直接去docker-hub,网址如下:https://hub.docker.com/r/vllm/vllm-openai

进入之后,直接选择要下载的版本即可,这个办法会更快一些,但是无法定制。

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库,基于 Torch 库,底层由 C++ 实现,应用于人工智能领域,如计算机视觉和自然语言处理

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值