ChatBox 调用 Windows10 本地 Ollama 部署的 DeepSeek-R1 大模型

本文通过使用 Ollama 在 Windows 系统上快速部署 DeepSeek-R1，无需复杂的环境配置即可体验智能对话。

环境说明

系统：Windwos 10 专业版
内存：64G
显卡：NVIDIA GeForce RTX 3060 12G独显
防火墙：放行11434端口

1 Ollama是什么

Ollama是一个便于用户在本地部署和管理开源大语言模型的应用框架，极大简化了开源大语言模型的安装和配置细节。即便你不了解大模型相关的任何知识，也可以通过简单的操作，借助Ollama在本地部署当今主流的开源大模型，包含 Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2 等（其支持的开源大模型可在library (ollama.com)中查看）。

Ollama 做为一个开源的大语言模型本地化部署与管理工具，支持：

• 一键式模型下载与版本管理
• 本地化模型推理服务部署
• REST API 接口提供
• 多平台客户端接入支持

2 在Windows上安装并使用Ollama

2.1 下载安装包：

访问ollama的官网https://ollama.com/，点击在页面中心的【Download】，选择Windows操作系统，即可下载Ollama的Windows安装包。我下载的是OllamaSetup.exe

2.2 自动安装Ollama：

点击运行刚刚下载好的安装包，直接点击右下角的"Install"即可安装，中途没有任何的选项与提示。注意：Ollama会自动安装在C盘且不能自定义安装目录，要确保C盘下有足够空间。

2.3 手动安装Ollama：

如果C盘空间不够，或者想指定安装位置，我们可以按下面步骤手动安装：

• 创建Ollama安装目录　　
  在想安装Ollama的路径下创建好文件夹，并把OllamaSetup.exe放在里面。比如我的安装路径是：d:\Ollama
  
• 在文件路径上输入CMD回车打开命令窗口
  
• 在CMD窗口输入：

OllamaSetup.exe /DIR=d:\Ollama

语法：软件名称 /DIR=这里放你上面创建好的Ollama指定目录

会打开Ollama安装界面，点击Install后，可以看到Ollama的安装路径就变成了我们指定的目录了

2.4 检查安装：

安装完成后Ollama会自动运行，它没有任何的UI界面，只会悄悄地运行在后台（默认端口11434），你可以通过以下方式判断安装结果：

• 方式一：检查任务栏

• 方式二：浏览器访问http://localhost:11434

• 方式三：netstat -aon|findstr 11434

netstat是网络统计命令，-a参数表示列出所有连接，-o参数表示显示进程ID，-n参数表示以数字形式显示地址和端口号。
findstr是查找指定的端口11434

• 方式四：在cmd中使用ollama -v

因为还没有下载模型，所以这里模型列表是空的：

C:\Users\Administrator>ollama list
NAME               ID              SIZE     MODIFIED

C:\Users\Administrator>

3 使用 ollama run 部署/运行 DeepSeek-R1

Ollama部署/运行模型的操作跟Docker很像，我们了解下通过ollama的run 选项来部署/运行本地模型的方式：

C:\Users\Administrator>ollama run --help
Run a model

Usage:
  ollama run MODEL [PROMPT] [flags]

Flags:
      --format string      Response format (e.g. json)
  -h, --help               help for run
      --insecure           Use an insecure registry
      --keepalive string   Duration to keep a model loaded (e.g. 5m)
      --nowordwrap         Don't wrap words to the next line automatically
      --verbose            Show timings for response

Environment Variables:
      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)
      OLLAMA_NOHISTORY           Do not preserve readline history

C:\Users\Administrator>

使用 ollama run MODEL 来部署/运行大模型，MODEL 是模型的名称，可以在ollama library中查询，其中有众多标签可供选择，选择适合自己电脑配置的模型即可。

3.1 下载 DeepSeek-R1 模型

在本地最常使用的是DeepSeek-R1从Qwen蒸馏出来的版本，我们可以根据自已的硬件来下载对应的模型。

3.1.1 CMD 使用nvidia-smi命令查看GUP信息

进入 CMD 窗口，输入 nvidia-smi 指令可以查看NVIDIA GPU的使用情况。

C:\Users\Administrator>nvidia-smi
Sat Feb 15 07:31:52 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.94                 Driver Version: 560.94         CUDA Version: 12.6     |
|----------