初来乍到,想学一学vllm,但是vllm需要配置很多库。由于之前的老版本cuda还在用,但是如果要编译vllm就需要下载库的指定版本,比如之前我的cuda版本是11.8,但是vllm却需要cuda12以上的版本,由于我之前的cuda版本已经跟ffmpeg绑定了(ffmpeg是基于cuda11.8编译的)。为了保证其他库不受影响,于是作者想要在docker环境中配置,来做一个隔离。
首先先下载好docker
我使用的vllm版本,防止大家跟我相同操作后结果不一样:
branch:master
commit id:3567816932e674abce3f44ceb0aff03f73b5aaff
总结下来,作者目前想到两种办法
通过Dockerfile创建
看vllm源码的文件结构,有一个docker目录,vllm官方已经提前写好了Dockerfile,你可以根据需要,自己调整Dockerfile

然后使用下面这个命令(注意要先cd到vllm目录下):
docker build -t [镜像名称]:[镜像版本] -f docker/Dockerfile .
当出现下面这个界面,就说明已经在下载中了:

去Docker-hub下载
还有一种办法就是直接去docker-hub,网址如下:https://hub.docker.com/r/vllm/vllm-openai
进入之后,直接选择要下载的版本即可,这个办法会更快一些,但是无法定制。
350

被折叠的 条评论
为什么被折叠?



