vLLM指定版本安装——vLLM=0.2.3
vLLM官方文档说了只针对cuda11.8和cuda12.1,那么我们就装vLLM后面带有+cu118或+cu121的版本,我服务器cuda是11的所以肯定不能装带有+cu112的,所以选择装后面带有+cu118的vLLM,又因为我需要跑的模型指定vLLM==0.2.3,综上考虑,我这儿只能安装vLLM==0.2.3+cu118。因为我服务器是远程连接实验室多人共享的,不能重装cuda,所以尝试上面说的第二种方法,整整两天,终于第二天晚上弄好了。(4)安装vLLM,需要其他版本的话,直接把对应。
原创
2024-12-17 21:11:22 ·
3044 阅读 ·
0 评论