DeepSeek r1蒸馏版本地化部署

我们本地部署的大模型都不是DeepSeek满血版（R1&V3），我们本地化部署的都是蒸馏后的模型，满血版一般都是企业级的应用了，比如腾讯元宝。

个人版想要安装满血版，除非你是款爷，而且手上有大几百万的卡做支持。

可以先查看下自己计算机的内存，为后面具体选择deekseek-r1模型 时做准备。

Task Manager（任务管理器） -> Performance（性能） ---> Memory（内存）

1. 下载安装Ollama

Ollama 是一个轻量级的本地AI模型运行框架，可在本地运行各种开源大语言模型（如Llama、Mistral等）

浏览器输入网址：https://ollama.com/download

选择一个系统进行下载: macOS/Linus/Windows

本机以 Download Ollama on Windows安装为例。安装之后，Ollama会自动运行。

打开CMD命令工具，输入ollama敲回车来验证，是否安装成功.

ollama 

2. 更改Ollama默认配置

由于ollama默认是将模型下载到C盘的，如果你的C盘空间空间很足，可以忽略此步，直接到下一步操作。

deepseek-r1:14b下载完成大概9G。

2.1 更改环境变量 

开始-->设置-->输入 环境变量 -->选择“编辑系统环境变量”。

如果你系统默认语言是英文，则输入system environment, 然后选择Edit  the system environment varaibles

2.1.1 添加OLLAMA_MODELS变量到System varriables（系统变量）里面。

OLLAMA_MODELS: D:\OLLAMA_MODELS

D:\OLLAMA_MODELS更改成你自己的路径

2.1.2 添加OLLAMA_HOST和OLLAMA_ORIGINS变量到User varriables（用户变量）里面

OLLAMA_HOST：0.0.0.0

OLLAMA_ORIGINS：*

都设置好后，点击OK保存更改。

2.3 重启ollama

打开任务管理器，点击Service“服务”选项卡，找到名为“ollama.exe”或“Ollama app.exe”的进程。

选中目标进程后，点击右下角的“结束任务”按钮。注意，可能需要先结束“Ollama app.exe”（守护进程），再结束“ollama.exe”。

或者右击进行重启。

如果重启失败，你可以通过重启电脑进行重启。

3. 安装DeepSeek-r1模型

安装DeepSeek-r1模型： https://ollama.com/library/deepseek-r1

搜索出来有很多个版本，区别就是参数不一样:1.5b，7b，8b，14b，32b，70b，671b.每个版本对应所需的内存大小都不一样。

如果你电脑运行内存为8G那可以下载1.5b，7b，8b的蒸馏后的模型

如果你电脑运行内存为16G那可以下载14b的蒸馏后的模型

我这里选择14b的模型，参数越大，使用DeepSeek的效果越好.

 3.1 安装deepseekr-1:14b

在CMD中运行一下命令：

ollama run deepseek-r1:14b

如果下载失败可以多次运行命令进行下载。

我们也可以在命令行中输入，ollama list 查看是否成功下载了模型，下图的内容表明下载成功。

ollama list

下载成功后会列出来deepseek-r1:14b

 3.2 运行deepseekr-1:14b

在CMD中运行一下命令运行r1.

ollama run deepseek-r1:14b

启动成功后，就可以输入我们想问的问题，然后点击回车，模型首先会进行深度思考（也就是think标签包含的地方），思考结束后会反馈我们问题的结果。

4. AI客户端助手安装

ChatBox是客户端形式的Chat的部署，Open WebUI是网页版Chat，如果你想共享给同一个局域网的用户，可选择Web UI.

4.1 ChatBox下载安装

Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载

我们通过ollama下载模型后，可以在命令行使用deepseek了，但是命令行的形式不够方便，所以我们可以借助chatBox,它拥有美观的UI，只要接入ollama的Api就可以使用了。此处我还是选择Windows下载，下载完成后进行安装。

Charbox安装完成后，启动Chatbox, 点击“设置”--> "模型" -->"Ollama API", 更改API域名到http://127.0.0.1:11434, 模型选择“deepseek-r1:14b”.

4.2. Open WebUI安装

网页版Chat，如果你想共享给同一个局域网的用户，可选择Web UI.

Open WebUI是面向 LLM 的用户友好型 WebUI（以前称为 Ollama WebUI）

github地址： https://github.com/open-webui/
官网地址: Open WebUI
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线操作。它支持各种 LLM 运行程序，包括 Ollama 和 OpenAI 兼容的 API。

具体安装与配置可自行百度或问豆包、文心一言.

5. 注意事项

选择蒸馏模型的大小，需要结合自己的电脑实际情况来选择，这会关系到，模型回答的速度以及效果问题。

Ollama API默认端口11434， 如果同一个局域网无法访问到你机器部署的deekseek，可以把11434加入到防火墙放行端口（新建 入站规则，出站规则）。

Open WebUI默认端口8080.