Qwen大模型手动部署Ollama

目录

1 下载ollama源码

2 下载ollama子模块

3 创建ollama虚拟环境

4 编译量化工具

5 转换模型

6 量化模型

7 创建Modelfile文件（下面是百川2的prompt template)

8 创建ollama模型

9 运行模型

---

1 下载ollama源码

git clone https://github.com/ollama/ollama.git
cd ollama

2 下载ollama子模块

git submodule init
git submodule update llm/llama.cpp

3 创建ollama虚拟环境

conda create -n ollama python=3.10
conda activate ollama

安装llama.cpp依赖

pip install -r llm/llama.cpp/requirements.txt