2301_76446605的博客

原创 求助Qwen2.5VL本地部署频繁CUDA out of memory

3090本地部署Qwen2.5VL的7b或者3b都只能识别很小的图片，稍微大一点的图片就会报错。稍微大点的图片就会请求几十g甚至几百g的显存需求。不知道是哪里出了问题。