本地部署DeepSeek实战

目录

1. 安装Ollama

2.安装DeepSeek

3.客户端调用DeepSeek

4.API调用本地部署大模型

---

最近想通过Spring-AI来整个大模型的应用，调用其它公司的大模型平台都需要申请API Key、Secret Key，模型调用都需要按调用次数/Token 收费，有个别平台有免费试用期和免费额度。如果想免费调用大模型，最好是自己本地部署运行开源模型，减少资金消耗。

以下是一些公司的大模型平台，可以申请调用大模型。

阿里云百炼平台：大模型服务平台百炼控制台

百度千帆平台：百度智能云千帆大模型平台

腾讯混元平台：登录 - 腾讯云

字节扣子：扣子

1. 安装Ollama

Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。在本地机器上便捷部署和运行大型语言模型（LLM）而设计。

下载：在官网Ollama，直接点击download即可，根据电脑系统选择不同的版本。

安装完成后打开如下：

2.安装DeepSeek

deepseek官网上可以看到有不同版本的模型，可以根据自己电脑的配置安装不同的模板

• 1.5B：适合硬件配置较低的电脑，4GB内存就够了；M1/M2处理器可安装

• 7B：推荐版本，大部分电脑都能跑，要求8GB内存+4GB显存；M3的处理器可安装

• 32B：高性能设备的专属，要求32GB内存+12GB显存。M4或者更高处理器

安装命令：ollama run deepseek-r1:7b

安装成功如下：

3.客户端调用DeepSeek

如果不想用ollama命令操作DeepSeek，可安装可视化大模型交互工具

可视化工具有：ChatBox客户端、Cherry Studio、浏览器插件

Cherry Studio下载地址：

ChatBox下载地址：Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载

浏览器插件安装方式：

• 打开浏览器的扩展中心，启用【开发人员模式】；

• 把文末提供的插件压缩包拖入扩展中心进行安装；

• 安装完成后，你会看到一个名为“Page Assist-本地AI模型的Web UI”的插件。

下载Cherry Studio之后，打开，设置

添加模型，我自己的是deepseek-r1:7b

首页中调用大模型

4.API调用本地部署大模型

有开发需求的朋友，可以开启API模式，通过API集成的方式。

基于Ollama框架运行了deepSeek R1模型，ollama相当于一个代理，我们直接调用ollama的API即可实现大模型接口的调用。

Ollama包装了完善的接口与大模型进行交互，接下来会通过Spring-AI来实践Agent应用。

参考：https://zhuanlan.zhihu.com/p/21682261418