超详细的DeepSeek-Windows本地部署AI应用教程

一、环境准备

硬件要求

**最低配置:**16GB 内存 + 8GB 显存(如 NVIDIA RTX 3060 12GB)。

**推荐配置:**32GB 内存 + 16GB 显存(如 NVIDIA RTX 4090)以获得更流畅体验。

软件依赖

Ollama: 用于本地运行大模型。

Docker: 用于部署 Dify 知识库应用。

Python(可选): 用于 API 调用示例。

二、安装 Ollama 并部署 DeepSeek-R1:7b

步骤 1:安装 Ollama

1、访问 Ollama 官网,下载 OllamaSetup.exe。

2、默认安装:双击安装包,按提示完成安装(默认路径为 C:\Users<用户名>\AppData\Local\Programs\Ollama)。

3、自定义安装路径(可选):

# 在cmd命令行中执行(示例路径为 D:\LLM\Ollama)
OllamaSetup.exe /DIR="D:\LLM\Ollama"

步骤 2:配置模型存储路径

1、修改环境变量 OLLAMA_MODELS,指向自定义存储目录(如 D:\Ollama_Models)。

2、重启 Ollama 服务使配置生效。

步骤 3:下载 DeepSeek-R1:7B 模型

打开 PowerShell 或命令提示符,输入以下命令:

ollama run deepseek-r1:7b

模型将自动下载(约 4.7GB),需确保网络通畅,建议使用代理加速。
下载完成后
在这里插入图片描述输入 /bye 退出对话模式。

三、部署 Dify 知识库应用

步骤 1:安装 Docker

下载 Docker Desktop for Windows,按默认配置安装。

要是不会安装的可以看"windows安装docker-desktop文章"在公众号"正经分享"里面

启动 Docker 并确保服务正常运行。

步骤 2:配置 Dify

1.克隆 Dify 仓库并进入目录:

git clone https://github.com/langgenius/dify.git
cd dify/docker

2.复制环境配置文件并启动 Docker 容器:

cp .env.example .env
docker-compose up -d

步骤 3:配置 Dify 与 Ollama 集成

1.访问 http://localhost 进入 Dify 管理界面,初始化管理员账号。
2.进入 模型供应商设置 → 选择 Ollama → 配置 API 地址为:

http://host.docker.internal:11434

(因 Docker 容器与宿主机网络隔离,需使用此地址而非 localhost)
3.保存配置后,创建应用并上传知识库文件(支持 PDF、TXT 等格式)。
在这里插入图片描述

四、验证与使用

验证 Ollama 模型
1.在命令行输入:

ollama run deepseek-r1:7b

2.输入测试问题(如“用 Python 写快速排序算法”),观察输出是否正常。

验证 Dify 应用

在 Dify 中创建聊天应用,绑定已上传的知识库。

输入问题测试(如基于知识库内容的查询),检查回复是否关联知识库。

五、高级配置与优化

1.调整模型参数:在 Dify 或 API 调用中设置 temperature=0.6、top_p=0.95 以平衡生成质量与随机性。

2.GPU 加速:确保 Ollama 使用 GPU 资源(默认自动启用,需安装 NVIDIA CUDA 驱动)。

3.多模型切换:通过 ollama list 查看本地模型,使用 ollama run <模型名> 切换不同版本

疑难问题

1.Ollama 下载慢:使用代理或更换下载源。

2.Dify 连接失败:检查 Docker 容器状态,确保 API 地址正确。

3.显存不足:尝试更小模型(如 1.5B 或 7B)或优化 GPU 设置。

关注公众号“正经分享”

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

正经分享

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值