deepseek的本地部署

第一步：安装ollama

        Ollama 是一个用于在本地运行大型语言模型的工具，下面将介绍如何在不同操作系统上安装和使用 Ollama。

Download Ollama on Windows

        下载后会默认安装在 C盘，可以修改到其它盘，例如:D盘。在OllamaSetup.exe的文件夹路径打开终端窗口，执行以下命令改变路径

  

  OllamaSetup.exe /DIR=D:\app\deepseek

    

更改模型安装路径

• 在不更改默认路径下，模型安装默认也是C盘
• 小默认都在5G，大模型几十G

修改windows系统环境变量

变量名： OLLAMA_MODELS
变量值： D:\app\deepseek

将第一个文件剪切到自己想要安装的目录下

1. 刷新环境变量

• 重启（简单粗暴）
• 手动刷新环境变量（无重启)   
  • 打开 任务管理器 (Ctrl + Shift + Esc)。
  • 在任务管理器中，找到 Windows 资源管理器（Explorer.exe），右键点击并选择 重新启动。
  • 这样会刷新 Windows 资源管理器的环境变量，使得新设置的环境变量生效。

第二步：选择模型

选择deepseek-r1:32b   deepseek-r1:32b

  此表数据来源于：从 0 开始本地部署 DeepSeek：详细步骤 + 避坑指南 + 构建可视化（安装在D盘）_deepseek安装到d盘-优快云博客

本地部署 DeepSeek 模型选择简要总结

1、小型模型 (1.5B, 7B)

        适用场景：硬件资源有限、简单任务（如基础对话、文本分类）。
        优点：文件小、资源占用少，易于部署。
        缺点：性能较低，无法处理复杂任务。

2、中型模型 (8B, 14B)

        适用场景：中等性能需求，适用于中型任务（如情感分析、机器翻译）。
        优点：较强性能，适应广泛应用。
        缺点：需要中等硬件支持，文件和存储要求增加。
3、大型模型 (32B, 70B)
        适用场景：高性能需求，复杂任务（如大规模推理、科研）。
        优点：性能强，适合复杂应用。
        缺点：对硬件要求极高，需要高端 GPU 和大存储空间。
4、超大型模型 (671B)
        适用场景：超大规模、科研级任务。
        优点：最强性能，适合最复杂的任务。
        缺点：资源消耗巨大，几乎只能在大型数据中心部署。

在命令提示符 输入：ollama run deepseek-r1:32b下载模型

等待安装，安装成功会有下面提示：

模型应用：

1、ollama list #查看模型

2、ollama #就是查看手册

3、运行模型

第三步 连接远程 Ollama 服务

        除了可以轻松连接本地 Ollama 服务，Chatbox 也支持连接到运行在其他机器上的远程 Ollama 服务。

        例如，你可以在家中的电脑上运行 Ollama 服务，并在手机或其他电脑上使用 Chatbox 客户端连接到这个服务。

        你需要确保远程 Ollama 服务正确配置并暴露在当前网络中，以便 Chatbox 可以访问。默认情况下，需要对远程 Ollama 服务进行简单的配置。

1、如何配置远程 Ollama 服务？

默认情况下，Ollama 服务仅在本地运行，不对外提供服务。要使 Ollama 服务能够对外提供服务，你需要设置以下两个环境变量：

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

2、在 MacOS 上配置

1. 打开命令行终端，输入以下命令：

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   launchctl setenv OLLAMA_ORIGINS "*"
   

2. 重启 Ollama 应用，使配置生效。

3、在 Windows 上配置

在 Windows 上，Ollama 会继承你的用户和系统环境变量。

1. 通过任务栏退出 Ollama。

2. 打开设置（Windows 11）或控制面板（Windows 10），并搜索“环境变量”。

3. 点击编辑你账户的环境变量。

   为你的用户账户编辑或创建新的变量 OLLAMA_HOST，值为 0.0.0.0； 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS，值为 *。

4. 点击确定/应用以保存设置。

5. 从 Windows 开始菜单启动 Ollama 应用程序。

4、在 Linux 上配置

如果 Ollama 作为 systemd 服务运行，应使用 systemctl 设置环境变量：

1. 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。

2. 在 [Service] 部分下为每个环境变量添加一行 Environment：

   [Service]
   Environment="OLLAMA_HOST=0.0.0.0"
   Environment="OLLAMA_ORIGINS=*"
   

3. 保存并退出。

4. 重新加载 systemd 并重启 Ollama：

   systemctl daemon-reload
   systemctl restart ollama
   

5、服务 IP 地址

配置后，Ollama 服务将能在当前网络（如家庭 Wifi）中提供服务。你可以使用其他设备上的 Chatbox 客户端连接到此服务。

Ollama 服务的 IP 地址是你电脑在当前网络中的地址，通常形式如下：

192.168.XX.XX

在 Chatbox 中，将 API Host 设置为：

http://192.168.XX.XX:11434

6、注意事项

• 可能需要在防火墙中允许 Ollama 服务的端口（默认为 11434），具体取决于你的操作系统和网络环境。
• 为避免安全风险，请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环境。