默认不指定xformer版本可能安装最新版,对于之前版本的cuda会不兼容
指定cuda版本安装:
cuda11.7安装 pip3 install xformers==0.0.22 及以下版本,例如
0.0.21、0.0.20
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu118
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121
vllm 如果使用cuda11.7 需要使用版本小于等于0.2.0
pip install vllm==0.2.0
cuda11.7以上其他版本正常安装应该可以。
文章讨论了在安装xformer库时,由于不同CUDA版本的兼容性问题,建议使用CUDA11.7时安装xformers版本在0.0.22及以下,如vllm则需0.2.0或更低版本。针对cu11.8和其他版本,常规安装通常可行。
2万+





