DeepSeek本地部署及接口调用

最近国产大模型 DeepSeek 非常火,DeepSeek 是一个开源模型,我们可以通过本地部署在自己的终端上随时使用,而且部署到本地后无需联网即可直接使用,以windows为例。

一、安装Ollama

如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具,这是一个开源的本地大模型运行工具。

我们可以访问 Ollama 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。

下载完毕点Install即可,这里不能选择安装的磁盘,默认C盘,安装完后可以修改到其他磁盘。

修改Ollama安装磁盘及模型下载存放磁盘

1.在希望的存储位置新建一个文件夹D:\AI

将C:\Users\XX\AppData\Local\Programs\Ollama这个文件夹移动到目标文件夹D:\AI目录下

2.修改环境变量,将用户变量由C:\Users\XX\AppData\Local\Programs\Ollama修改为新的目录D:\AI\Ollama

3.修改系统变量,用于指定后续模型下载位置在D:\AI\Ollama目录下新建一个models文件夹,用于存放模型,新建环境变量OLLAMA_MODELS指向此文件夹。

验证是否安装成功

Win+R输入cmd打开控制台,输入ollama按回车

二:下载部署 Deepseek 模型

回到 Ollama 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。

点7b这里可以下拉选择,根据自己电脑配置,选择合适自己的模型。下表为建议,我这里选的8b的。

选择好模型后,复制右边的一个命令(ollama run deepseek-r1:8b)。回到cmd控制台,运行此命令,就会下载对应模型,耐心等待安装完毕即可。需要记住此命令,关闭后需要根据此命令再次进入命令行。

做一个简单的测试,输出100以内的质数,会显示思考过程,然后输出结果

三:可视化图文交互界面 Chatbox

点击Chatbox进入Chatbox,弹出的设置框选择下面的使用本地模型。

选择Ollama API

为了将 Chatbox 连接到远程 Ollama 服务,建议点击这里阅读远程连接指南

其实很简单,配置两个环境变量,然后重启下ollama就行了。

重启 ollama 程序后,我们需要将 Chatbox 设置界面关闭并重新打开,重新打开 Chatbox 设置界面后即可选择 Model了,选择完点SAVE即可。

继续那个简单的测试,输出100以内的质数。

四:通过postman测试接口调用

查看ollama官方文档GitCode - 全球开发者的开源社区,开源代码托管平台,都是英文,看不懂也可以参考Ollama接口系统详解-优快云,本地ollama部署默认端口是11434,模型推理我们调用/api/chat接口。

内容概要:本文档主要介绍了DeepSeek AI的三种使用方法——官网直接调用、API调用(通过硅基流动和华为云平台)、以及本地部署。首先,针对官网调用,文中指出尽管推理速度快且质量高,但在高峰期可能面临服务器繁忙的问题;其次,详述了API调用的具体步骤,包括注册硅基流动账号以获得必要的API密钥,随后利用ChatBox客户端进行具体调用;再者,针对那些希望拥有更高控制权限或是寻求离线解决方案的用户,则提供了本地部署的方法,这涉及安装并配置LM Studio,从Hugging Face代理搜索并下载DeepSeek-R1的不同版本,根据自己的硬件条件选择合适的模型尺寸以平衡运算速度与结果精度。每种方式都有其特点和限制条件。 适合人群:具有一定的技术背景,特别是对于AI或自然语言处理感兴趣的开发者或研究者。同时,也适用于需要频繁接触文字智能解析任务的专业人士和高级爱好者。 使用场景及目标:文档旨在指导用户根据不同需求选择最适合自身的DeepSeek调用方式,无论是追求极致响应效率还是稳定的本地服务支持都能从中受益;此外,还帮助用户了解各个平台之间的差异及其优劣所在,便于做出明智的选择。 阅读建议:鉴于文中涉及到多种技术和操作层面的内容,读者应关注各部分实际执行环节的关键要素,并参照自己实际环境条件评估最佳实施方案。例如,在考虑API调用时注意Token的有效管理和ChatBox界面下的正确设置,在本地部署前确保机器硬件满足最低要求,尤其是对于不同版本模型的选取需依据自身情况决定。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值