系统要求
- 操作系统:Windows 10/11(本教程以Win11演示)
- 硬件要求:
- 内存:最低16GB(推荐32GB+)
- 显卡:支持CUDA的NVIDIA显卡(推荐RTX 3060 12GB+)
- 存储:至少40GB可用空间
整体流程概览
- 安装Ollama服务端(相当于deepseek的壳子)
- 下载DeepSeek模型
- 安装Chatbox客户端
- 配置对接本地模型
- 测试对话功能
详细步骤说明
一、安装Ollama服务端
- 打开浏览器访问官网:(按自己操作系统选择)
- 下载Windows版本:
- 点击「Download for Windows」
- 下载完成后双击
OllamaSetup.exe
- 注意:deepseek模型和ollama均没有可视化窗口
- 安装过程:
- 右键安装包 → 「以管理员身份运行」
- 勾选同意协议 → 保持默认安装路径 → 等待安装完成
- 验证安装(需联网):
- 按
Win + R
→ 输入cmd
→ 回车打开命令提示符 - 输入命令:
- 按
ollama --version
- 成功显示版本号即安装成功(示例输出:`ollama version 0.1.27`)
- 配置环境变量:
- 按
Win + R
→ 输入sysdm.cpl
→ 回车打开命令提示符 - 高级-环境变量
- 点击新建:
- 变量名:OLLAMA_HOST 变量值:0.0.0.0
- 变量名:OLLAMA_ORIGINS 变量值:*
- 如后续使用还是报错,可关闭防火墙
- 按
二、下载DeepSeek模型
- 命令提示符打开:
- 按
Win
键 → 输入cmd
→ 右键选择「以管理员身份运行」
- 按
- 执行下载命令:
ollama run deepseek-r1:8b
//其他版本修改变量即可--1.5b,7b,8b,14b,32b,70b,671b,
//例子:ollama run deepseek-r1:1.5b
- 注意:下载时间取决于网络速度(约5-30分钟),如下载失败可选更小模型继续尝试
- 验证模型下载:
ollama list
- 正确输出应包含:
三、运行模型服务
- 启动模型服务:
ollama run deepseek-r1:8b
- 首次运行会自动完成最后配置
- 看到 `>>> Send a message (/? for help)` 提示即启动成功
- 测试基础对话(可选):
- 输入测试问题:
用Python写一个快速排序算法
- 观察是否正常生成代码
四、安装Chatbox客户端
- 访问GitHub Release:
- 下载Windows版本:
- 找到最新版本(如
Chatbox-1.14.0-win.exe
) - 点击下载 → 保存到本地
- 找到最新版本(如
- 安装步骤:
- 双击安装包 → 选择安装路径(建议保持默认)
- 勾选「创建桌面快捷方式」
- 完成安装后自动启动程序
五、配置Chatbox连接本地模型
- 进入设置界面:
- 点击左下角「设置」图标(⚙️)
- 选择「模型设置」标签页
- 配置参数:
- 模型提供方:OLLAMAAPI
- API地址:
http://localhost:11434
- 模型名称:
deepseek-r1:8b
- 严谨与想象(Temperature):0.7(推荐,过大会延伸过多,不可控)
- 上下文的消息数量上限:无限制
- 保存
六、使用本地模型对话
- 新建对话:
- 点击左上角新对话按钮
- 输入框输入问题(示例):
帮我用JavaScript实现二叉树的中序遍历
- 发送请求:
- 按
Enter
键或点击发送按钮 - 首次响应可能需要10-20秒
- 按
- 优化技巧:
- 在问题前添加指令:
[INST] 你是一个专业程序员,请用Python实现... [/INST]
- 调整Temperature(0.3-1.0)控制创造性
更多玩法可以先自己研究,后面我也会继续更新专业文档
常见问题解决
1. 下载模型速度慢
# 设置镜像源(在cmd中执行)
setx OLLAMA_MODELS "https://mirror.example.com/ollama/models"
2. 显存不足报错
- 解决方案:
- 改用更小模型:
ollama pull deepseek-r1:1.5b
- 添加运行参数:
- 改用更小模型:
ollama run deepseek-r1:1.5b --num-gpu 50
3. 连接被拒绝
- 检查服务状态:
netstat -ano | findstr :11434
正常:
- 重启Ollama服务:
taskkill /f /im ollama.exe
ollama serve
开机自启动
- 创建批处理文件
start_ollama.bat
:
@echo off
ollama serve
- 按
Win + R
输入shell:startup
- 将批处理文件放入启动文件夹
通过以上步骤,您已成功搭建本地大模型环境。建议首次运行时关闭其他大型程序以确保性能,后续可根据硬件配置调整模型参数。