保姆系列:DeepSeek+Chatbox的本地快速部署

前言

本教程仅适用于N卡Win系统,其他配置请再在zai站内搜索其他教程

一、 下载Ollama程序

进入官网主页:Ollama

二、安装Ollama软件 

1.  安装路径

注意Ollama会默认安装到C盘,路径如下C:\Users\%username%\AppData\Local\Programs\Ollama 不会让你先择路径,安装后大小约为4.56G

 2. 验证安装

安装完成后自动启动,在右下角小图标,首先,退出Ollama的左下角图标,准备配置OllamaWindows环境变量

win+R 输入cmd进入命令提示框,运行ollama list 说明安装完成,并可成功运行

Ollama中常用的命令列表

ollama -v:显示版本
ollama list:显示模型列表
ollama show:显示模型的信息
ollama pull:拉取模型
ollama push:推送模型
ollama cp:拷贝一个模型
ollama rm:删除一个模型
ollama run:运行一个模型
ollama serve:启动ollama 服务,端口号11434
ollama create:从模型文件创建模型
ollama help:获取有关任何命令的帮助信息

三、配置Ollama

1. 取消开机自启动

在用户的启动菜单,剪切Ollama图标至桌面, %APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup,这样不占开机内存,需要使用时再打开

2. 查看环境变量

Ollama 的默认模型存储路径如下:C:\Users\%username%\.ollama\models。打开windows的环境设置,如下Ollama运行Path已设置好(即在CMD环境可直接运行)

3. 更改模型存储的路径

模型通常比较大,故模型的存储路径需要变更,通过新建一些环境变量可以定义未来模型的安装路径,以节约C盘空间

打开“系统环境变量”,新建一个系统变量OLLAMA_MODELS(默认此名称) ,然后设置ollama模型的存储路径如下图,未来模型下载安装在此

类似的,再新建一个OLLAMA_ORIGINS

重要的事情说三遍!!!

配置完成后,重启电脑,让上述环境变量生效

配置完成后,重启电脑,让上述环境变量生效

配置完成后,重启电脑,让上述环境变量生效

四、安装Ollama环境下的大模型

1. 安装DeepSeek R1模型

2. 选择适合自己的模型

根据自己显卡的性能选择适合自己的模型

deepseek-r1:1.5b——1-2G显存
deepseek-r1:7b——6-8G显存
deepseek-r1:8b——8G显存
deepseek-r1:14b——10-12G显存
deepseek-r1:32b——24G-48显存
deepseek-r1:70b——96G-128显存
deepseek-r1:671b——至少496GB

在这里我选择安装32B的模型

把上面的命令复制后粘贴到cmd界面,直接运行

出现类似线面的返回,即证明安装开始了

我们可以返回之前自定义的模型安装路径,检查之前的修改是否生效,模型有没有被装到这里

在安装完之后,会有一个对话框出现,我们现在就可以提问了,检查模型是否能够正常运行

3. 放开跨域限制

在我们安装完了基本的模型之后,我们一定还需要一个UI界面来实现流畅的体验和更多样的功能

Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求,如果你计划在其它前端面板中调用 Ollama API,比如chatbox,建议放开跨域限制。注意安装完模型后,如下设置:

OLLAMA_HOST,值为 0.0.0.0

设置方法和之前新建环境变量一样,注意新建完了要重启电脑,其他的就不多赘述了

五、安装互动工具Chatbox

1. 进入官网下载软件

Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

2. 对Chatbox进行配置

点击使用本地模型

进行相关的网络配置,如果在选择模型的地方能看到之前选择了的模型那就证明成功了

经过上述的操作,就可以实现本机上的本地AI使用了

3. 以安装模型的PC作为主机,其他设备共享使用

局域网以内的其他设备使用,只要设备能安装Chatbox,在设置中把API设置为

http://192.168.XXX.XXX:11434 

即可共享AI服务 

### 如何在本地部署 DeepSeek ChatBox #### 安装 Ollama 为了能够在本地环境中成功运行 DeepSeek,首先需要安装 Ollama。Ollama 是一个用于管理和优化机器学习模型的服务平台,在此平台上可以方便地管理 DeepSeek 模型。 对于大多数操作系统而言,可以通过命令行工具来完成这一过程: ```bash pip install ollama ``` 这一步骤会自动处理所有必要的依赖关系并安装最新版本的 Ollama 库文件[^1]。 #### 配置环境变量 接着要设置一些重要的环境变量以便于后续操作顺利进行。通常情况下,这些配置会被保存在一个 `.env` 文件里,该文件位于项目的根目录下。以下是几个常见的配置选项及其含义: - `OLLAMA_API_KEY`: 这是你访问 Ollama API 所需的关键凭证。 - `DEEPSEEK_MODEL_PATH`: 存储已经下载好的 DeepSeek 模型的位置路径。 - `CHATBOX_PORT`: 当前应用程序监听 HTTP 请求所使用的端口号,默认值可能是8080或其他未被占用的小数值。 创建一个新的`.env`文件,并按照上述说明填入相应的参数值。 #### 下载预训练模型 有了合适的开发环境之后,下一步就是获取预先训练过的 DeepSeek 模型副本。可以从官方仓库或者其他可信资源处获得这个压缩包形式发布的二进制数据集。解压后将其放置到之前指定的存储位置(`DEEPSEEK_MODEL_PATH`)内即可。 #### 启动ChatBox服务 现在所有的准备工作都已经就绪,只需要启动服务器就可以开始测试了。进入项目所在的文件夹并通过终端执行如下指令来激活 Flask 或者 FastAPI 构建的应用实例: ```bash python app.py ``` 这里假设主程序入口点名为`app.py`;如果实际情况不同,则应替换为实际存在的 Python 脚本名称。一旦应用正常工作起来,便可以在浏览器地址栏输入类似于 http://localhost:8080 的 URL 来查看前端界面。 #### 自定义系统提示词 考虑到用户体验和功能需求的不同,可能还需要调整默认状态下给出的回答模式。利用 Ollama 提供的功能来自定义系统提示词是一个不错的选择。通过修改特定字段的内容能够改变对话风格、增加领域专业知识等特性,从而更好地满足个性化的要求[^2]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值