通义千问Qwen-VL-Chat大模型本地部署（一）

• 目录

  前言

  环境准备

  软件安装

  其它库安装启动项目

  FASTAPI

  小结

---

前言

        人工智能大模型是一种能够利用大数据和神经网络来模拟人类思维和创造力的人工智能算法。它利用海量的数据和深度学习技术来理解、生成和预测新内容，通常情况下有数十亿乃至数百亿个参数，可以在不同的领域和任务中表现出智能拟人的效果。

        现在大模型火的不行，项目中如果没有大模型好像都缺少点啥？没办法要跟着时代进步，最近研究了一下开源的通义千问大模型，翻阅了大量文档，记录一下使用心得。我使用的是通义千问Qwen-VL-Chat多模态模型。LLM模型可以通过Ollama下载官网最新推出的Qwen2模型，网上教程很多比较简单，但我们怎么可能仅仅只用聊天，必须得上多模态，Ollama的多模态模型很少，并且尝试过效果都不好，最后盯上modelScope上的Qwen-VL-Chat多模态，官网提供了modelScope和transformers两种途径获取模型，本人都尝试了下最终选择了modelScope，官网也推荐使用modelScope，第一modelScope不需要搭梯子，第二下载Qwen-VL-Chat源码后运行transformers会报错，源码中transformers版本为4.32.0，需要升级到更高版本才能正常运行，modelScope不需要进行其它包的升级。

        

环境准备

       硬件：  本人使用的是window10系统，电脑为工作站内存，显存不需要考虑，正常情况下16G内存，6G显存能跑低7亿参数的模型。

        软件： Anconda、Pytorch、Python、cuda（有GPU的考虑）主要用到这3个，其它包稍后说明。版本之间要按照官网上的说明来寻找适合的版本。我使用的版本如下：

        Anconda：23.3.1；

        Pytorch：2.0.1；

        Python：3.10；

        cuda：11.7；

软件安装

        开源项目最大的麻烦就是环境问题，安装错误会报一堆问题，还无从查找。网上有很多使用docker安装的，这里我使用的是conda安装的Python虚拟环境。

        Anconda下载：清华大学开源软件镜像站点；

        网上搜一下conda和python3.10版本对应名称下载，安装的话除了指定安装位置外其它的都是next就好了，conda内置了python版本无需再安装一次python。

安装程序结束后需要配置conda的环境变量。

        在系统变量的path中添加以下五个自己安装的conda的对应文件夹位置的变量然后 win+r 输入cmd 查看是否安装成功。