windows10环境下的Deepseek本地部署及接口调用

windows10环境下的Deepseek本地部署及接口调用

参考B站视频

注意：需要vpn，vpn的流量要足够大，足够下载模型文件及相关的软件。如果没有可以推荐一个：https://hissr.co/aff.php?aff=474

一、Ollama安装和配置

Ollama 是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）。它让用户能够轻松下载、管理和运行各种 AI 模型（如 LLaMA、Mistral 等），而无需复杂的配置或依赖云服务

1.下载

- 访问 Ollama 的官方网站（https://ollama.ai/），下载适合你操作系统的安装包，完成安装即可。

命令行中校验安装成功:

2.配置模型文件下载路径

在环境变量中，点击“新建”：

- 变量名：OLLAMA_MODELS

- 变量值：D:\ollama_models（替换为自己保存模型的目录路径）。

重启Shell 或命令提示符，使更改生效。

二、下载并运行Deepseek-R1模型

1.模型文件介绍

访问 Ollama 的官方网站（https://ollama.ai/）查找deepseek-r1模型

在ollama网站上，目前提供了几个不同大小的deepseek模型，最小的1.5b只有1.1GB，最大的671b有404GB

本地测试使用1.5b(1.1GB)模型，本地启动后资源使用情况：

本次windowds测试中，使用NVIDIA MX330显卡：2G专用显存使用1.4G，7.9G共享显存使用0.4G, 总共GPU内存使用1.7G左右。

网友测试：32b（20GB）模型，使用NVIDIA RTX 4090显卡:

网友测试：70b（43GB）模型，使用NVIDIA RTX 4090显卡:

2.下载并运行1.5b模型

后续就可以通过命令行和deepseek进行沟通聊天了：

三、安装chatbox用户界面

使用命令行如果不方便，可以安装chatbox客户端。

Chatbox 是一个开源的桌面应用程序，专门用于与大型语言模型（如 OpenAI 的 GPT 系列、LLaMA、Mistral 等）进行交互。它提供了一个简洁、易用的图形界面，让用户能够轻松地与 AI 模型对话，而无需编写代码或使用复杂的命令行工具。访问 Chatbox网站https://chatboxai.app/zh，下载适合你操作系统的安装包。

1.下载安装

下载安装chatbox即可。

2.配置

打开chatbox，找到"设置"，配置“模型提供方”为：OLLAMA API, 同时，选择模型：deepseek-r1:1.5b，即可。

开启“新对话”和deepseek进行聊天：

四、通过接口调用deepseek

上面配置中有个API域名：这个域名是是ollama启动后的默认地址，通过REST API和deepseek进行交互。

具体ollama提供的接口可以参考：https://github.com/ollama/ollama/blob/main/docs/api.md

后续我们可以使用java、python、go等语言调用，做成自己的服务等。

下面通过PostMan测试接口调用：

1.商品卖点提炼

2.商品敏感词识别