一、环境准备
-
安装Ollama
- 访问Ollama官网,选择对应操作系统的安装包(Windows默认安装在系统盘,不可修改路径)。
- 安装完成后,打开命令行输入
ollama
,若显示帮助信息即安装成功。
-
依赖安装
- 确保已安装Python 3.10+、Git和Docker(可选,用于容器化部署)。
二、拉取预训练模型
-
从Ollama仓库拉取模型
ollama pull qwen2.5:7b # 示例:拉取Qwen2.5的7B版本
-
从魔塔社区下载模型(可选)
- 安装魔塔工具:
pip install modelscope
- 使用Python脚本下载模型到本地:
- 安装魔塔工具: