Evachen328的博客

原创 [大模型入门] 服务器部署LLaVA推理

本文介绍了在AutoDL平台A100服务器上部署LLaVA多模态模型的过程。首先通过Git克隆项目并创建Python3.10虚拟环境，安装依赖包。然后分步下载Vision模型和llava-v1.5-13b权重文件，通过SCP方式上传至服务器，并修改配置文件路径。最后通过三个终端分别启动控制器、Gradio网页服务和模型工作器，遇到端口转发和FastAPI版本问题后，通过SSH端口映射和降级FastAPI解决。最终成功完成LLaVA模型的服务器部署。