一、环境准备
硬件要求
**最低配置:**16GB 内存 + 8GB 显存(如 NVIDIA RTX 3060 12GB)。
**推荐配置:**32GB 内存 + 16GB 显存(如 NVIDIA RTX 4090)以获得更流畅体验。
软件依赖
Ollama: 用于本地运行大模型。
Docker: 用于部署 Dify 知识库应用。
Python(可选): 用于 API 调用示例。
二、安装 Ollama 并部署 DeepSeek-R1:7b
步骤 1:安装 Ollama
1、访问 Ollama 官网,下载 OllamaSetup.exe。
2、默认安装:双击安装包,按提示完成安装(默认路径为 C:\Users<用户名>\AppData\Local\Programs\Ollama)。
3、自定义安装路径(可选):
# 在cmd命令行中执行(示例路径为 D:\LLM\Ollama)
OllamaSetup.exe /DIR="D:\LLM\Ollama"
步骤 2:配置模型存储路径
1、修改环境变量 OLLAMA_MODELS,指向自定义存储目录(如 D:\Ollama_Models)。
2、重启 Ollama 服务使配置生效。
步骤 3:下载 DeepSeek-R1:7B 模型
打开 PowerShell 或命令提示符,输入以下命令:
ollama run deepseek-r1:7b
模型将自动下载(约 4.7GB),需确保网络通畅,建议使用代理加速。
下载完成后
输入 /bye 退出对话模式。
三、部署 Dify 知识库应用
步骤 1:安装 Docker
下载 Docker Desktop for Windows,按默认配置安装。
要是不会安装的可以看"windows安装docker-desktop文章"在公众号"正经分享"里面
启动 Docker 并确保服务正常运行。
步骤 2:配置 Dify
1.克隆 Dify 仓库并进入目录:
git clone https://github.com/langgenius/dify.git
cd dify/docker
2.复制环境配置文件并启动 Docker 容器:
cp .env.example .env
docker-compose up -d
步骤 3:配置 Dify 与 Ollama 集成
1.访问 http://localhost 进入 Dify 管理界面,初始化管理员账号。
2.进入 模型供应商设置 → 选择 Ollama → 配置 API 地址为:
http://host.docker.internal:11434
(因 Docker 容器与宿主机网络隔离,需使用此地址而非 localhost)
3.保存配置后,创建应用并上传知识库文件(支持 PDF、TXT 等格式)。
四、验证与使用
验证 Ollama 模型
1.在命令行输入:
ollama run deepseek-r1:7b
2.输入测试问题(如“用 Python 写快速排序算法”),观察输出是否正常。
验证 Dify 应用
在 Dify 中创建聊天应用,绑定已上传的知识库。
输入问题测试(如基于知识库内容的查询),检查回复是否关联知识库。
五、高级配置与优化
1.调整模型参数:在 Dify 或 API 调用中设置 temperature=0.6、top_p=0.95 以平衡生成质量与随机性。
2.GPU 加速:确保 Ollama 使用 GPU 资源(默认自动启用,需安装 NVIDIA CUDA 驱动)。
3.多模型切换:通过 ollama list 查看本地模型,使用 ollama run <模型名> 切换不同版本
疑难问题
1.Ollama 下载慢:使用代理或更换下载源。
2.Dify 连接失败:检查 Docker 容器状态,确保 API 地址正确。
3.显存不足:尝试更小模型(如 1.5B 或 7B)或优化 GPU 设置。
关注公众号“正经分享”