binshangnao7156的博客

原创 离线搭建Ollama 并且加载运行Qwen2.5本地模型

1、从github上下载对应架构版本的Ollama离线包，对应下载地址为https://github.com/ollama/ollama/releases。由于项目需要，调研离线部署相关大模型框架和部署运行大模型，遂进行相关调用ollama和xinference。4、将对应模型上传至ollama_cache 目录下 具体模型下载详见魔搭模型库。2、将相关下载下来的包上传至服务器上，进行相关解压操作/home/Ollama。6、 配置大模型下载目录。10、测试模型是否正常。5、执行命令创建模型。