部署Qwen2-VL-7B-Instruct-GPTQ-Int4进行推理，提示CUDA extension not installed.

可以正常推理，但推理速度很慢。排查发现问题：torch auto-gptq 版本不对应。

查看官方推荐的版本：

auto-gptq 0.7.1

CUDA 12.1

torch 2.2.1

重新安装：

pip install torch==2.2.1

pip install torchvision==0.17.1

pip install auto-gptq==0.7.1

亲测该版本可正常使用gptq，推理速度恢复正常。