【大模型报错】RuntimeError: CUDA error: no kernel image is available for execution on the device

遇到的错误：

背景：将qwen大模型部署到新的服务器上，之前服务器显卡是4090，新的服务器显卡是P40。

分析原因：

在网上搜了很多博客，也问了chatgpt，基本可以确定是显卡版本、CUDA版本、pytorch版本有地方不兼容。

之前调用大模型一直用的vllm，网上搜了下，可以确定P40显卡缺少一些算子，不支持vllm调用大模型。

cuda版本为11.8，也不是最新的，P40是支持的。

pytorch版本为2.1.2，大模型一直强调是xformer不支持，于是降低pytorch版本（其本质也是降低xformer版本）。

查看当前xformer版本：0.0.23.post1+cu118

11.8支持的xformer版本：versions: 0.0.22.post3+cu118, 0.0.22.post4+cu118, 0.0.22.post7+cu118, 0.0.23+cu118, 0.0.23.post1+cu118, 0.0.24+cu118, 0.0.25+cu118, 0.0.25.post1+cu118, 0.0.26+cu118, 0.0.26.post1+cu118, 0.0.27+cu118, 0.0.27.post1+cu118, 0.0.27.post2+cu118, 0.0.28, 0.0.28.post1)

选择最低的0.0.22.post3+cu118安装：pip install xformers==0.0.22.post3 --index-url https://download.pytorch.org/whl/cu118

安装完之后，pytorch版本降低到2.1.0

运行qwen大模型，成功！

参考文献：
1、https://blog.youkuaiyun.com/m0_51098495/article/details/138283650
2、https://zhuanlan.zhihu.com/p/466793485
3、https://www.zhihu.com/question/299434830/answer/3633527240?utm_psn=1846882109748293633